Das heute als Villa Gontard bekannte Gebäude, in dem die Generaldirektion der Staatlichen Museen zu Berlin ihren Sitz hat, wurde 1907/08 im Auftrag des jüdischen Bankiers und Kommerzienrats Leopold Friedmann von dem Architektenbüro Cremer & Wolffenstein errichtet. Die beiden Königlichen Bauräte gehörten zu den bekanntesten Architekten des wilhelminischen Berlin. Neben Villen, Kaufhäusern und Bürogebäuden errichteten sie zahlreiche Synagogen.
Für Friedmann entwarfen Cremer & Wolffenstein unweit des Tiergartens eine in die geschlossene Blockrandbebauung integrierte Stadtvilla im neobarocken Stil. Der Bankier verkaufte diese allerdings bereits 1910 an Baron Paul von Gontard, unter dessen Namen die Villa heute bekannt ist. Der Rittergutsbesitzer aus der Altmark war mit einer Erbin der Brauerei-Dynastie Anheuser-Busch aus St. Louis, Missouri, USA, verheiratet. Er wirkte als Generaldirektor der Deutschen Waffen- und Munitionsfabriken und hatte diverse Aufsichtsratssitze, unter anderem bei der Daimler-Motoren-Gesellschaft, inne.
Im Erdgeschoss der Villa waren ursprünglich fast ausschließlich Versorgungsbereiche wie Küche und Hausmeisterwohnung untergebracht. Durch ein mit Marmor ausgekleidetes Treppenhaus gelangten die Bewohner und ihre Gäste in die Empfangsräume im ersten Obergeschoss. Um die großzügige Diele herum reihten sich Salon, Herren- und Damenzimmer, der zum Garten orientierte Speisesaal mit Zugang zur Terrasse und ein Frühstückszimmer. Das zweite Geschoss war den privaten Räumen der Familie vorbehalten, das Dachgeschoss diente als Unterkunft für die Dienstboten.
Die Gontards lebten bis Ende der 1930er Jahre in ihrer Villa. Von einer USA-Reise Anfang 1939 kehrten sie nach Kriegsbeginn nicht mehr nach Deutschland zurück. Gontard verstarb 1941 in den USA, und das Haus ging etwa ein Jahr später durch einen "Schenkungsvertrag" an das Deutsche Reich über. Nach Ende des Zweiten Weltkriegs und der Entmachtung der Nationalsozialisten wurde die Villa Gontards Witwe Clara auf Beschluss des Wiedergutmachungsamtes rückübertragen.
Die Bombardierung Berlins während des Kriegs hatte das Tiergartenviertel besonders stark getroffen, doch die Villa Gontard blieb als eines der wenigen Häuser nahezu unversehrt. Diverse Mieter nutzten das Gebäude in den folgenden Jahren als Büro. 1963 erwarb es das Land Berlin von den Erben der Witwe Gontard. Danach war zeitweilig das Berlin-Museum (als neu gegründetes Stadtmuseum im Westteil der Stadt) hier untergebracht, ebenso wie das Kunstamt des Bezirkes Tiergarten.
Das gesamte Areal von der Stauffenbergstraße bis über die Potsdamer Straße hinaus wurde zur Errichtung des neuen Kulturforums bestimmt. In den 1960er Jahren entstanden Scharouns Philharmonie und Mies van der Rohes Neue Nationalgalerie, kurze Zeit später die neue Staatsbibliothek (ebenfalls von Scharoun). Fünf Museen der Europäischen Kunst für die Stiftung Preußischer Kulturbesitz waren ebenfalls und in unmittelbarer Nähe zur Villa Gontard in Planung. 1966 entschied man sich schließlich, die Villa in der Stauffenbergstraße der Stiftung Preußischer Kulturbesitz als Sitz der Generalverwaltung der Staatlichen Museen zu Berlin zu überlassen. Sie wurde denkmalgerecht saniert und dient seit 1970 ihrem heutigen Zweck.
Im Zusammenhang mit der Überarbeitung der Museumspläne in den 1980er Jahren und der Errichtung der 1998 fertiggestellten Gemäldegalerie wurde die Villa zu beiden Seiten entlang der Stauffenbergstraße in die modernen Baukörper integriert, in denen die nach der Wiedervereinigung der Staatlichen Museen zu Berlin gewachsene Verwaltung und die Direktion der Gemäldegalerie Platz fanden. Trotzdem bleibt sie als eigenständiger Bau erkennbar. Gerade die Tatsache, dass Struktur und Anmutung des ehemaligen herrschaftlichen Wohnhauses so weit wie möglich erhalten wurden, macht den besonderen Reiz der Generaldirektion der Staatlichen Museen zu Berlin aus.