以色列國家圖書館是是希伯來大學的中央圖書館，它收集該國所有的出版物併發行書目。同時它還收集全部與以色列有關的世界各地的出版物，有選擇地收集有關中東的出版物；並負責編輯以色列圖書館的期刊聯合目錄。

19世紀70年代，耶路撒冷業已有了電報業、希伯來文印刷業、希伯來文報紙以及現代教育和研究，然而卻沒有圖書館。經猶太人多次醞釀後，1892年猶太國家與大學圖書館終於面世，這就是位於耶路撒冷由聖約之子會建立的米德拉希·阿瓦瓦內爾圖書館。該館問世要歸功於錫安運動及著名的波蘭學者約瑟夫·沙贊諾維奇博士，沙贊諾維奇從1890年到耶路撒冷參觀後，即執著於建立猶太國家圖書館，到死為止他將一切都貢獻給了圖書館。他以館為家，將自己私人藏書捐獻給圖書館並收集圖書，總計20,000卷。這部分藏書是圖書館頭20年主要的收藏。

在第一次世界大戰結束時，該圖書館有兩項職能:猶太國家圖書館和耶路撒冷猶太人居民的公共圖書館。在其1920年被移交給創立希伯來大學的世界錫安聯合會後，它仍然儲存了這兩項功能。1925年重新開館時改為現在的名稱，並增添了新功能。成為大學館後，圖書館發展較快，首先是有了第一位專職的館長鬍戈·貝格曼博士，他移居巴勒斯坦之前是布拉格大學圖書館館長。1933年該館正式成為國家館，隸屬於耶路撒冷希伯來大學，比以色列建國還要早15年。國際聯盟的託管政府要求當地的出版商繳送2本出版物給圖書館，這一法令後被以色列政府繼承下來。

第二次世界大戰、以色列建國和中東戰爭後，建設了新館。以色列國內外捐款捐書的人很多，還從德國接收了大量猶太人的藏書，由於納粹時期的迫害，這部分書已經成為無主財產。該館開展館際互借，併為國際圖聯成員。

圖書館出版《Kiryat Sefer》，報導有關以色列及猶太人的全部出版物、以及約旦和國外出版的有關以色列的書目，其中還有書評、書目研究及介紹館藏的文章。另有期刊文獻書目《猶太研究文章索引(Index of Articles on Jewish Studies)》。

因為絕大多數猶太人生活在以色列境外，所以圖書館要盡其所能地收集反映和代表猶太民族歷史和文化的普通圖書、期刊、手稿、文獻、錄音和圖片以及搖籃本、善本、手稿。它收集各種猶太語言——希伯來語、意第緒語、拉迪諾語等——各個地方、各個時代的資料。出於同樣目的，圖書館還對那些有大量猶太人居住和生活國家的作品進行收集。注重收藏猶太研究的書目和印刷術發明以來的希伯來文圖書的回溯性書目。