In Berlinghausen gab es im Mittelalter eine Turmhügelburg, deren Reste heute noch nachzuweisen sind. Der Sage nach soll sie sich im Eigentum eines Raubritters befunden haben, der in der Umgegend sein Unwesen trieb. Weil die Attendorner Schützen ihn besiegt hätten, so die Sage, habe der Kölner Erzbischof ihnen zum Dank das Jagdrecht verliehen.