Mysterieuze muurresten, Wallen, graven en grafheuvels prikkelen de verbeelding. Wat kan hier ooit gebeurd zijn - dat is het raadsel dat je jezelf onwillekeurig afvraagt.
En inderdaad, er zijn hier veel historische overblijfselen te vinden. Onderzoekers hebben ontdekt dat de oudste terpen dateren uit de tijd rond de geboorte van Christus, toen Germaanse stammen de Kelten ontmoetten. In die tijd boden de heuvels bescherming tegen binnenvallende vijanden. In de achtste en negende eeuw, rond de tijd dat Karel de Grote heerste over het Frankische Rijk, werd een ommuurde burcht gebouwd als versterking, die vermoedelijk diende als halteplaats voor Frankische troepen.
De ruïnes van de Borberg-terrassen stralen vandaag de dag nog steeds een sterke fascinatie uit - en ze vertellen een verhaal. Volgens de annalen had de stad aan de "Borrenberge" ook een klein nonnenklooster. Opgravingen hebben de funderingsmuren van een kerk, de poort en de fundamenten van een kapel en een begraafplaats uit de 13e eeuw blootgelegd.
Wandelaars genieten vanaf de Borberg op de Rothaarsteig van een spectaculair uitzicht op Olsberg en de bergen van Sauerland. De Marienkapelle, of Friedenskapelle, is ook een bezoek waard. Deze staat sinds 1925 hoog op de klif.
Het kerkhof van Borberg ligt aan de Rothaarsteig en kan te voet worden bereikt. Vanaf de parkeerplaats voor wandelaars bij de Hiebammenhütte Brilon of het Waldhotel Schinkenwirt in Olsberg kan het in een half uur worden bewandeld.
Borberg is ook een zielscentrum van de wandeldorpen in Sauerland.