De bijzondere boekencollectie van de Koninklijke Akademie vindt haar oorsprong in 1842, bij de oprichting van de Akademie. De collectie begon met de boeken van oprichter Antoine Lipkens (1782-1847). In de jaren daarna groeide het boekenbezit steeds verder. Uiteindelijk was er op de oorspronkelijke locatie aan de Oude Delft 95 bijna geen ruimte meer voor alle boeken.

In 1915 kreeg de grote hoeveelheid boeken daarom een nieuw onderkomen. Het nieuwe gebouw bood ruimte om de collectie verder uit te breiden én goed te bewaren. Daarmee werd een belangrijke basis gelegd voor het behoud en de toegankelijkheid van deze bijzondere verzameling.