Das „Haus der Alten Herren“ befand sich mit zwei Dreigeschossigen Gebäuden zwischen dem jetzigen Oberen Tor und dem Turm. Im Damenflügel links vom Tor (Kapelle) befanden die Gemächer der Fürstin und die Badestuben. Später im 17. Jh. nach Brand Wiederaufbau als Wachstube; Später Wohnung, Gefängnis; 1963-90 Teil der Jugendherberge.
Der rechte Flügel war das sparsam eingerichtete Haus des Fürsten, es wurde ca. 1740 nach Verfall abgerissen. 1895 erfolgte der Bau eines Pferdestalls für den Amtmann. 1905 Herberge „Zur Heimat“; 1963-90 Teil der Jugendherberge. Heute befindet sich hier u. a. die Burgschneiderei