Im der Mitte des 16. Jahrhunderts ließ Kaspar Weiler (1506-1580) am Ufer des Starnberger Sees den quadratischen, schloßartigen Bau, an dessen Seiten achteckige Türme vorspringen für 11.000 Gulden errichten. Die Nachkommen Weilers überließen den Besitz 1694 dem Freiherrn Georg Josef von Schrenk. 1730 ist die Hofmarksfamilie Vieregg Eigentümer. Ab 1765 gehörte er Johann Kaspar Aloys Reichsgraf Basselet von La Rosée (1747-1826), der die Schloßkapelle errichten ließ.

1834 erwarb Herzog Max in Bayern (1808-1888) neben Schloß Possenhofen das fürstliche Anwesen.

1858 heiratete Herzogin Helene in Bayern, genannt Néné (1834 -1890), älteste Tochter von Herzog Max Joseph in Bayern, den reichen Erbprinzen Maximilian Anton von Thurn und Taxis (1831–1867) und wurde Erbprinzessin von Thurn und Taxis. Die Trauung fand am 24. August 1858 in Possenhofen statt.

1862 erbte das Schloß die Herzogin Marie in Bayern (1841-1925), Tochter von Herzog Max Joseph in Bayern und seiner Ehefrau Ludovika von Bayern, also eine Schwester der österreichischen Kaiserin Elisabeth und Schwägerin von Kaiser Franz Joseph I., die Franz II. (1836-1894), König beider Sizilien, ehelichte und als "Heldin von Gaeta" Berühmtheit erlangte.

Für Fürstin Helene wurde das Garatshausener Schloß zum Lieblingsplatz am See. Sie hatte es von ihrer Schwester, Herzogin Maria Sophie, für ihren Aufenthalt angemietet, um der Hofetikette entsprechend unweit ihrer Familie in Possenhofen standesgemäß residieren zu können. Auch Kaiserin Sisi fand offenbar großen Gefallen am Schloß in Garatshausen.

1887 gelangte das Schloß in den Besitz der fürstlichen Thurn- und Taxis-Familie. Gesellschaftliches Leben herrschte im Garatshausener Schloß zur Zeit von Albert von Thurn und Taxis (1867-1952) und Margarete von Thurn und Taxis (1870-1955).
1889 ließ Fürstenpaar Albert und Margarete vom Hofarchitekten Max Schulze das Neue Schloß an die Schloßkapelle anbauen.

Das Alte Schloß

1952 ging das Alte Schloß auf Johannes Prinz von Thurn und Taxis (1926-1990) über.

1987 wird das Alte Schloß nach einer umfangreichen Renovierung von Fürstin Gloria von Thurn und Taxis und ihren Kindern neben ihrem Regensburger Stammsitz St. Emmeram genutzt.

Das Neue Schloß

1889 wurde das Neue Schloß mit Spiegelsaal errichtet.

1951 kaufte der Landkreis Starnberg den Barocktrakt des Schlosses und richtete darin das Kreisaltenheim ein. Bis 1994 war das Altenheim im Neuen Schloß. Seine Ausstattung aus der Fürstenzeit mit Rosenkabinett und Spiegelsaal, sowie und seinem vollplastischen Fries auf Marmorpilastern blieb erhalten. Seit 1995 beherbergen moderne Bauten die seniorengerechte Pflegeeinrichtung und der neue Schloßteil mit Schulungszentrum und Mitarbeiterwohnungen konnte wieder dem ursprünglichen Gedanken zu Wohn- und Empfangszwecken zurückgeführt werden. Im Spiegelsaal werden heute standesamtliche Trauungen angeboten.

Schloßkapelle

1759/1760 ließ Johann Kaspar Aloys Reichsgraf Basselet von La Rosée (1747-1826) erbauen. In ihr befindet sich ein schöner Rokokoaltar, der über dem Tabernakel als Hauptbild die Heiligste Dreifaltigkeit zeigt, daneben links Maria vom Rat und rechts St. Joseph mit dem Jesuskind. Über dem Altar thront die Himmelsgöttin mit dem Jesuskind mit Zepter und Krone im Strahlenkranz (18. Jahrhundert). Die Schloßkapelle läutet allwöchentlich zu den heiligen Messen und zum Rosenkranzgebet für die Bewohner des Altenheimes. Jährlich findet an den Prozessionstagen eine Bittprozession von Tutzing zur Garatshausener Schloßkapelle statt.