Ein bedeutender Hausherr war der Erbsälzeroberst Friedrich von Papen der das Solbad Werl gründete. 1879 wurde hier der spätere Reichskanzler Franz von Papen geboren.
Von 1980 bis zum Jahr 2010 war hier die Stadtbücherei Werl untergebracht.
Danach wurde das Gebäude veräußert und wird nunmehr privat genutzt.