Die Kunstbibliothek entstand 1868. Im Jahr zuvor war auf Initiative des Großen Berliner Handwerkervereins das Deutsche Gewerbe-Museum zu Berlin gegründet worden, das neben einer Unterrichtsanstalt auch eine Bibliothek erhielt. Dass die Kunstbibliothek heute nicht nur eine wichtige Forschungsbibliothek ist, sondern zudem über eine bedeutende Sammlung grafischer Bildzeugnisse zur angewandten Kunst verfügt, hat in dieser Konstellation ihren Ursprung.
So bestimmte das Gründungsprogramm des Museums – Rückbesinnung auf handwerkliche Qualitäten – auch die Erwerbungsrichtlinien der Bibliothek. Historische Kenntnisse über Stil, Technik, Material und Methoden sollten Künstlern und Gewerbetreibenden vermittelt werden. Bereits in der Satzung von 1867 wurde der besondere Charakter der Bibliothek festgelegt: Nicht nur wissenschaftliche und künstlerische Bücher und Zeitschriften, sondern auch Zeichnungen und Fotografien herausragender kunstgewerblicher Erzeugnisse sollten gesammelt werden. So entstand eine umfassende Muster- und Vorbildersammlung für alle Bereiche des Kunsthandwerks.
Für die Entwicklung der Bibliothek spielte Peter Jessen, ihr Direktor von 1886 bis 1924, ein zentrale Rolle. Wichtige, die Struktur der Kunstbibliothek heute noch prägende Erwerbungen wie die Lipperheidesche Kostümbibliothek, die Nachlässe der Architekten Joseph Maria Olbrich und Hippolyte Destailleur oder des Fotografen Ernst Juhl fallen ebenso in seine Amtszeit wie die Loslösung vom Gewerbe-Museum. 1881 hatte das Museum, inzwischen unter dem Namen Kunstgewerbemuseum, mit Bibliothek und Unterrichtsanstalt einen Neubau in der Prinz-Albrecht-Straße bezogen. Dieses nach Plänen von Martin Gropius und Heino Schmieden errichtete Gebäude, heute Gropius Bau, verdeutlicht, welch wichtige Position die erst wenig zuvor gegründete Institution mittlerweile in der Berliner Bildungslandschaft einnahm. Da der vorhandene Platz für die stark anwachsende Sammlung der Bibliothek jedoch nicht ausreichte, wurde diese 1905 in einen Erweiterungsbau verlegt, der ausreichend Stellfläche für Bücher und grafische Sammlungen sowie großzügige Lese- und Studiensäle bot. Dem Lesesaal war erstmals ein kleiner Raum angegliedert, in dem Wechselausstellungen gezeigt wurden. Nachdem die Bibliothek bereits 1894 als selbstständige Abteilung der Königlichen Museen dem Gewerbe-Museum gleichgeordnet worden war, manifestierte dieser Umzug die Unabhängigkeit der Bibliothek von den musealen Sammlungen des Gewerbe-Museums und ebnete ihr den Weg zu einem eigenständigen wissenschaftlichen Forschungsinstitut. 1924 erhielt sie den Namen, den sie bis heute trägt: Kunstbibliothek.
Während des Zweiten Weltkriegs wurden wichtige Teile der Bibliotheks- und Sammlungsbestände ausgelagert. Die Nutzung der Bibliothek war jedoch noch bis 1944 möglich. Nach Kriegsende konnten Teile der Bestände an ihrem provisorischen Standort in Berlin-Dahlem bereits 1947 der Öffentlichkeit wieder zugänglich gemacht werden. 1954 folgte der Umzug in die Jebensstraße in Berlin-Charlottenburg.
Die nächste Etappe in der wechselvollen Geschichte der Bibliothek kündigte sich 1962 mit den Planungen für das Kulturforum an, die 1987 mit dem Beginn des Neubaus für Kunstbibliothek und Kupferstichkabinett nach Plänen Rolf Gutbrods, überarbeitet durch das Büro Hilmer & Sattler, konkret wurden. In den neuen Räumen am Kulturforum erhielten die Buch- und Sammlungsbestände zu Architektur, Buch- und Medienkunst, Fotografie, Mode und Grafikdesign 1994 ihren bis heute gültigen Standort. 2004 wurde das Museum für Fotografie als Teil der Kunstbibliothek in der Jebensstraße eröffnet und schließlich im Jahre 2012 die Archäologische Bibliothek im Archäologischen Zentrum nahe der Museumsinsel Berlin.