图书馆源于保存记事的习惯。早在公元前３０００年时，巴比伦的神庙中就收藏有刻在胶泥板上的各类记载。最早的图书馆是希腊神庙的藏书之所和附属于希腊哲学书院（公元前４世纪）的藏书之所。
我国的图书馆历史悠久。只是起初并不称做“图书馆”，而是称为“府”、“阁”、“观”、“台”、“殿”、“院”、“堂”、“斋”、“楼”罢了。如西周的盟府、两汉的石渠阁、东观和兰台、隋朝的观文殿、宋朝的崇文院、明代的澹生堂、清朝的四库全书七阁等等。“图书馆”是一个外来语，于１９世纪末从日本传到我国。
据《在辞典中出现的“图书馆”》说，“图书馆”一词最初在日本的文献中出现是１８７７年的事；而最早在我国文献中出现，当推《教育世界》第６２期中所刊出的一篇《拟设简便图书馆说》，时为１８９４年。