日本國立國會圖書館有兩個源流。一是設立於1890年、隸屬於舊憲法下帝國議會的貴族院眾議院圖書館，另一則是設立於1872年、隸屬於文部省的帝國圖書館。其中帝國圖書館經歷了自書籍館（1872）、東京書籍館（1875）、東京府書籍館（1877）、東京圖書館（1880）至帝國圖書館（1897）的變遷。1947年改稱為國立圖書館。
日本國立國會圖書館建於1948年，是法定的存放圖書館，存放日文出版物和美國政府，UN，UNESCO，ILO，WHO等機構的出版物。本館是IFLA亞太中心，ISSN中心，和日本國際圖書交換和資訊中心。分為1個辦公署和6個部門，由三個主要圖書館和35個分館組成。
日本國立國會圖書館由中央館（總務部、調查及立法考查局、收集部、圖書部、逐次刊行物部、專門資料部、圖書館協力部）國會分館、國際兒童圖書館（原支部上野圖書館）、支部東洋文庫以及行政司法各部門的35個支部圖書館組成。
