Op 19 augustus 1727 verwoestte een brand het hele dorp Fürstenberg. Het dorp beleefde toen zijn hoogtijdagen. Er verrezen prachtige vakwerkboerderijen en prestigieuze stenen gebouwen, waaronder het kasteel. In 1776 werd het kasteel Fürstenberg, gebouwd in de 15e eeuw, afgebroken en het huidige kasteelcomplex werd ervoor in de plaats gebouwd. Het kasteel was bedoeld als zomerresidentie van baron Friedrich Wilhelm von Westfalen, prins-bisschop van Hildesheim.
Een bezoek aan het voorgebied van het kasteel rond de Kump en het oude gerechtsgebouw is zeker de moeite waard. Informatieborden geven meer informatie over de historische achtergrond.