La Col·lecció de la Biblioteca, amb fons bibliogràfics i audiovisuals d'índole diversa, s'ha format poc a poc al voltant de les activitats de l'IVAM, tant expositives com didàctiques, als seus cicles de cinema o concerts, cursos, etc.

Les exposicions sobre les avantguardes durant la primera etapa del museu motivaren l'adquisició de material original d'aquests moviments: llibres il·lustrats de l'avantguarda soviètica, revistes centreeuropees amb tipografia d'avantguarda, publicacions dadaistes, revistes americanes surrealistes dels anys 40, així com una sèrie de revistes espanyoles de la primera meitat del segle XX que exerciren com a autèntics manifests dels primers moviments d'avantguarda al nostre país.

Les mostres al voltant d'un artista han donat lloc a l'adquisició de dos tipus de publicacions especials: d'una banda catàlegs raonats i de l'altra Llibres d'artista, què s'iniciaren per aquells artistes de la segona meitat del segle XX utilitzant la serialitat i la fotografia documental.

Per subscripció ingressen tant les revistes en curs com els catàlegs de subhastes de les firmes Christie's i Sotheby's, mentre que, degut a l'intercanvi de publicacions amb més de 300 institucions, ingressen anualment al voltant de 550 catàlegs provinents d'exposicions de tot el món.

A més de les publicacions sobre Museologia, Teoria i Estètica de l'art, Història dels moviments artístics i monografies i catàlegs d'artistes, hi ha importants publicacions d'Arquitectura, Disseny i, especialment, Fotografia, ja que l'IVAM fou un dels primers museus d'art modern que inicià la formació d'una col·lecció fotogràfica a Espanya.

Tanmateix, la Biblioteca compta als seus fons amb diversos arxius d'artistes formats per milers de documents que s'han incorporat poc a poc bé per donació, compra o dipòsit. Entre ells cal destacar l'Arxiu i Biblioteca Josep Renau (fons molt sol·licitat pels investigadors o per a formar part d'exposicions), l'Arxiu Julio González (avui en dia completament digitalitzat i accessible des de la base de dades de la Biblioteca), l'Arxiu Eusebio Sempere, l'Arxiu del Grupo Parpalló, de Vicente Huidobro o de Manolo Gil.

El material generat per l'IVAM o referent a ell i a tota la seua activitat expositiva i cultural conforma un conjunt molt heterogeni que inclou catàlegs d'exposició, monografies, cartells, gravacions audiovisuals de conferències, cursos, taules rodones i rodes de premsa, fullets, dossiers de premsa, etc. Sense cap mena de dubte totes són peces fonamentals per a l'estudi de l'IVAM ja que, com a autèntica memòria documental de la seua activitat, és una font d'informació directa per a la història del centre.

Durant els darrers anys, i degut a l'intens grau d'interdisciplinarietat de les arts, s'ha creat poc a poc una mediateca amb l'adquisició de videoart i cinema experimental, música electroacústica i art sonor, a més d'un bon fons de música de blues i jazz.

En l'actualitat la Biblioteca està portant a terme el procés de digitalització de determinats conjunts documentals. Gràcies a aquest programa, des dels equips informàtics de la Sala de Lectura ja es pot accedir a les imatges digitalitzades de l'Arxiu Julio González o a les gravacions en MP3 de les conferències i rodes de premsa realitzades a l'IVAM des del 1989 fins al 2002. També es pot consultar des de la pròpia base de dades de la Biblioteca els articles en format PDF de la revista 'Kalias', publicada per aquesta institució fins el 2002, així com la revista 'Quaderns de l´IVAM'.