Das Stadtbild von Bad Aibling wird nachhaltig durch das alte Schloss geprägt, das - halb verdeckt hinter Bäumen - doch in seinem Ockergelb weit in die Kirchzeile leuchtet. Es verkörpert die Macht der bayrischen Herrscher, deren Vertreter die herzoglichen Pfleger und später die kurfürstlichen Landrichter waren. An der Frontfassade liest man eine zunächst rätselhafte lateinische Inschrift:
VACANTI CAESARIS THRONO
GLORIOSOQVE SERENISSIMI
ELECTORIS BAVARIAE
CAROLI ALBERTI
VICARIATU
Es handelt sich um ein Chronogramm, also um einen Text, dessen hervorgehobene Buchstaben zugleich als römische Ziffern dienen und in der Addition die Jahreszahl 1731 ergeben. Die Verbindung aus Wort und Zahl besagt vermutlich, dass das Gebäude zwischen 1731 und 1741 umgebaut wurde. Denn nachdem Karl VI. 1740 gestorben war, hatte Karl Albrecht ein Jahr lang das Reichsvikariat inne, ehe er 1742 zum Kaiser gekrönt wurde. So ergänzen die bekannten Daten der Geschichte die versteckte Zahl der Inschrift.
Das Aiblinger Pflegschloss selbst blickt allerdings auf eine ungleich ältere Geschichte zurück. Historiker vermuten eine römische oder sogar keltische Burg. Und sicherlich war spätestens zur Zeit der Agilolfinger eine Befestigung der Bergnase vorhanden. Urkundlich wird der fränkische Königshof als Pfalz bei einem Aiblinger Gerichtstag im Jahre 804 erwähnt. Zur Zeit der Falkensteiner Grafen war hier Sitz einer Vogtei, die von den Wittelsbachern um 1250/60 übernommen wurde, um die Verwaltung des Landes vor dem Gebirge zu gewährleisten. Eine Zeichnung Aspians von 1573 zeigt den spätmittelalterlichen Bau noch mit einem riesigen Wehrturm im Hintergrund und mit den Mauern und Türmen der äußeren Befestigung. Das ursprünglich nur zweistöckige Schloss hatte hübsche Ecktürmchen, die dem Umbau 1740 zum Opfer fielen. Seit 1838 ist das ehemalige Schloss Sitz des Amtsgerichts Aibling. Der westliche Anbau von 1898 beherbergte bis 1935 das Rentamt, also das Finanzamt.
