Mit der Gründung der Freien Universität im Dezember 1948 entstand auch das Kunsthistorische Institut und seine Bibliothek. Der Sammelauftrag lautete, Literatur in allen Sprachen zur abendländischen Kunst aller Epochen und ihrer Einflussgebiete zu erwerben. Dabei sollten möglichst viele Künstler und Monumente durch die wichtigsten Publikationen vertreten sein. Drei Schwerpunkte kristallisierten sich allmählich heraus: Literatur zur deutschen sowie zur italienischen Kunst und zur Architektur. Bereits 1950 konnte der Nachlass des Kunsthistorikers Arthur Haseloff (1872-1955) angekauft werden, etwa 4.000 Bände aus dessen Besitz bilden den Grundstock des Altbestandes. Zahlreiche Stiftungen und Ankäufe ergänzten den Bibliotheksbestand in den folgenden Jahren. Profil gewann die Bibliothek unter dem 1957 berufenen Institutsdirektor Hans Kauffmann (1896-1983), der eine intensive Ankaufstätigkeit initiierte. Entsprechend der Forschungsgebiete der Lehrstuhlinhaber weitete sich das Themenspektrum zunehmend auf. Immer wieder bereichern Büchersammlungen prominenter Kunsthistoriker den Bestand. So kam 1992 die Schmoll-Eisenwerth-Bibliothek zur Fotografie (München) in den Besitz der Bibliothek des Kunsthistorischen Instituts, 2001 gingen etwa 7.000 Bände aus dem Nachlass von Josepha Weitzmann-Fiedler und Kurt Weitzmann in den Bestand ein.

Mit ihrem aktuellen Bestand von etwa 125.000 Bänden ist die Bibliothek des Kunsthistorischen Instituts eine der großen kunstgeschichtlichen Fachbibliotheken in Deutschland. Die überwiegende Zahl der Monografien, Sammelbände, Dissertationen, Kataloge und Zeitschriftenbände stammt aus dem 20. und 21. Jahrhundert und repräsentiert weite Bereiche der abendländischen Kunstgeschichte. 117 Zeitschriften und Jahrbücher werden regelmäßig bezogen, hinzu kommen Veröffentlichungen auf CD Rom und über 22.000 Mikrofiches und -filme. Doch auch ältere Literatur ist hervorragend repräsentiert. So verfügt die Bibliothek über rund 6.700 Bände aus dem 19. Jahrhundert, 364 aus dem 18. Jahrhundert, 142 aus dem 17. Jahrhundert und 67 Bände aus dem 16. Jahrhundert. Die älteren Bände widmen sich vor allem der italienischen Kunst, etwa in Form von Quellenschriften und Reisebeschreibungen. Die Publikationen des 19. Jahrhunderts verteilen sich auf alle Gebiete der deutschen, französischen und niederländischen Kunst. Zu den besonderen Raritäten im Besitz der Bibliothek zählen unter anderem die Architekturtraktate von Vitruv und Leon Battista Alberti in sieben zwischen 1511 und 1684 erschienenen Ausgaben.