Den oprindelige bygning, der lå i hjørnet af kirkegården blev opført i 1691. I 1880 var der så mange penge i Stiftelsens kasse, at der kunne opføres en ny bygning, som er den bygning, vi kender i dag.
Mogens Kjærgren har lavet et skrift, hvor Stiftelsens udførlige historie er beskrevet.
