A könyvtár honlapján részletes leírást találunk a könyvtár történetéről, a szolgáltatások és a gyűjtemény alakulásáról, költözéséről. A Savaria Múzeum, a Megyeháza Hollán Ernő utcai szárnya, majd a Fő tér után 1970-ben költöztek jelenlegi helyükre. A nagy közgyűjteményekből és adományokból megalapozott állományát nagyrészt Pável Ágoston rendszerező tevékenysége révén modern közkönyvtári és tudományos gyűjteménnyé tették. Szintén neki köszönhető az intézmény széles helytörténeti gyűjteményének megalapozása, amely a vasi kötődésű újságokra és folyóiratokra is kiterjed.
A város fejlődése szempontjából legendás 1960-as évtized végén átadott épületet a könyvtár mellett álló 14 emeletes ún. magasházat is tervező Medvedt László tervei alapján építették. Az akkori legkorszerűbb technológia szerint felhúzott acélszerkezetű épület tömegét a főbejárat asszimetrikusan tagolta. A merevítőbordák között hatalmas üvegablakok biztosították a belső tér folyamatos, bőséges és természetes fényellátását. (Ezt a megépítésekor még unikumnak számító, az épület külső hatásához is jelentősen hozzájáruló, alumíniumból készült Reluxa-árnyékolással tették szabályozhatóvá.) A földszinti rész tömör felületeit szürke kerámiával burkolták, míg az épület emeleti részét fehér üvegmozaik fedte.
Az intézmény 1956-tól viseli a költő nevét. Az országban a legelsők között vezették be a lényegében önkiszolgáló szabadpolcos kölcsönzést. Sokáig a megyei könyvtárak módszertani központjaként is működtek. Az 1978-tól a megjelenő könyvekből kötelespéldányokat kapó intézmény állománya az 1990-es évekre már számos külső raktárban került elhelyezésre, ami a nagyszámú olvasóközönség kiszolgálását egyre nehezebbé, körülményesebbé tette. Az épületet címzett állami támogatásból 2000 és 2002 között, Kiniczky István és Tölgyesi Ernőné külső és dr. Lábdyné Fülöp Melinda belsőépítészeti tervei szerint építették át. Az építkezés idejére a kölcsönzés a domonkos rendházba költözött.
A 2002 augusztusában átadott, ötszintesre bővült új épületben nagy területű felnőtt- és gyerekkönyvtári olvasó- és kölcsönző tér, önálló médiatár és helytörténeti gyűjtemény, nagy befogadóképességű raktártér, valamint számtalan kényelmes kutatóhelyiség és egy rendezvényterem is helyet kapott. A földszinten (némi szociális funkciót is magára vállalva) hírlapolvasó működik. A könyvtár előtti egységes építészeti stílusú kis tér dr. Antall József miniszterelnök nevét vette fel - az épület előtt áll Veres Gábor róla készített portrészobra. A könyvtártól balra álló, a tüdőszűrő állomást is magába foglaló lakóépület falán pedig a napokban avatták fel Gazdag Erzsi emléktábláját.
