Før der for alvor kom fokus på kulturområdet, var biblioteket i høj grad lig med byens kultur, og langt de fleste kulturkroner går stadig til biblioteksvæsenet. Med biblioteksloven 1964 blev alle kommuner forpligtet til at drive bibliotek med fri og lige adgang for alle og med et kvalitetspræget, alsidigt og aktuelt materiale. Efter kommunalreformen blev sognebibliotekerne nedlagt i 1971. I 1966 havde biblioteket i Tårnborg 3.434 bind og bibliotekerne i Vemmelev-Hemmeshøj 5.862 bind tilsammen. Landområderne blev betjent med bogbus indtil 1991, og i 1979 fik Vemmelev filialbibliotek. Hovedbiblioteket flyttede i 1975 fra Havnegade til større forhold i Bernstensgade. Forholdene blev dog først tilfredsstillende efter en tilbygning i 1988.
Flytningen forøgede lånertallet betragteligt, mere end 50 % fra 1975/76 til 1981. I 1982 blev biblioteket ramt af besparelser, og udlånstallet dalede med mere end 20 % fra 1985 til 1994. Flytningen af stationen betød et yderligere dyk på 21 % fra 1997 til 2000. Et bibliotek er ikke længere kun bøger, men også lydbøger, cd’er, dvd’er etc. Disse fysiske materialer skal med biblioteksloven fra 2000 vægtes lige med det virtuelle bibliotek. Nedgangen i udlåns-tallet skal også ses i sammenhæng med denne interesseforskydning, der desuden giver sig udslag i reduktioner i bestanden af fysiske materialer. Fra 1970 til 1984 steg antallet af fysiske enheder med 111 %. Bestanden stagnerede stort set i resten af århundredet på grund af besparelser. Fra 1999 til 2005 er bestanden af enheder faldet knap 16 %. Bøger udgør 90 % af de fysiske enheder i 2005.