Das am 12. März 1911 eingeweihte Luitpoldhaus geht auf eine Stiftung des Bleistiftfabrikanten und Kommerzienrat Heinrich Berolzheimer zurück. Das Gebäude sollte als Volksbildungsstätte dienen und alle gesellschaftlichen Gruppen Nürnbergs erreichen. Teil des Gebäudes war ein sogenanntes Volksbildungsheim. Hierzu gehörte der offene Zeichensaal, ein Vorläufer der heutigen Volkshochschule, in dem unentgeltlich Unterricht zur beruflichen Fortbildung angeboten wurde.  Ebenfalls im Luitpoldhaus befand sich die Volksbücherei.

Im ersten Stock des Hauses war die Naturhistorische Gesellschaft (NHG) untergebracht, die hier ein Museum betrieb. Die dortige Ausstellung zeichnete die Entwicklung der Erde, des Lebens und des Menschen nach. Weitere Themen waren Völkerkunde, regionale Vor- und Frühgeschichte sowie Karst- und Höhlenkunde.

Das Gebäude wurde im Zweiten Weltkrieg stark beschädigt und 1951-56 vereinfacht wieder aufgebaut. Seit 1984 beherbergt das Gebäude die Nürnberger Zentralbibliothek, die auch das angrenzende Katharinenkloster mit nutzt. Die NGH zog im Jahr 2000 in die nahegelegene Norishalle um.  

2010-2012 wurde das Gebäude abermals grundlegend umgebaut, sodass das ursprüngliche Gebäude kaum noch zu erkennen ist. Im Eingangsbereich befindet sich eine Plakette mit dem Portrait Berolzheimers. (DG)