Das Haus hat eine lange Geschichte. Das Anwesen wurde im Jahr 1368 zum ersten Mal urkundlich erwähnt und schreibt eine über 650-jährige Geschichte. Das Anwesen wechselt zu Beginn sehr oft seinen Besitzer. Nicht zuletzt hat dieser starke Wandel Schloss Kahlsperg geformt.