Zwischen 1387 und 1394 wurde auf dem 300 m hohen Hubenberg über dem linken Ufer der Perf eine Burg erbaut, von der heute nur noch Grundmauern zu sehen sind. In den Jahren 1712 bis 1714 erbaute die Familie von Breidenbach zu Breidenstein das heutige Schloss im barocken Stil. Es wird auch als Unteres Schloss bezeichnet.
Oberhalb des älteren Schlosses wurde um 1910 eine schlossartige Jugendstilvilla gebaut, die man auch das Neue Schloss nennt.
Mit dem Bau der Burg war auch der Grundstein für Breidenstein gelegt.
Luftaufnahmen der Breidensteiner Schlösser, aufgenommen am 17.06.2022