De bijzondere boekencollectie werd gevormd tijdens het begin van de Koninklijke Akademie in 1842. De verzameling begon in eerste instantie met de boeken van oprichter Antoine Lipkens (1782-1847). Het boekenbezit breidde zich steeds verder uit, waardoor er op een gegeven moment bijna geen ruimte meer was op de Oude Delft 95.
In 1915 werd er gelukkig een nieuw gebouw gebouwd, waar de bibliotheek zich kon vestigen en verder kon uitbreiden. Dit was een belangrijke stap in het behouden en toegankelijk maken van deze waardevolle boekencollectie.