Das Gebiet zwischen Neutorstraße, Irrerstraße und Geiersberg wurde erst im Zuge der Stadterweiterung bzw. der Anlage der heute noch bestehenden Stadtbefestigung (Neutormauer- und Neutorgraben) seit dem späten 14. Jahrhundert in die ummauerte Reichsstadt Nürnberg einbezogen. Es gehörte zum sog. Weinmarktviertel - einem der acht Nürnberger Stadtviertel -, das wiederum in ein äußeres (d.h. entstanden seit dem späten 14. Jahrhundert, s.o.) und inneres Viertel unterteilt war. Von der Lage innerhalb der Gesamtstadt bzw. den dort vorhandenen Standortfaktoren war dieses Gebiet geprägt vom Transportgewerbe und den sich daran anschließenden Dienstleistungsfunktionen sowie vom lederverarbeitenden Gewerbe. Das Gebiet der Irrerstraße lag an der Fernhandelsstraße über St. Johannis nach Fürth, Würzburg und Frankfurt/Main.
Bedingt durch die Nähe zur Pegnitz bzw. speziell zum Ausfluss der Pegnitz aus der Stadt war das Gebiet um die Irrerstraße außerdem vom lederverarbeiteten Gewerbe geprägt. Hier hatten sich seit dem Mittelalter speziell die sog. Irher/Ircher oder Weißgerber angesiedelt die nach einer speziellen Methode, dem Weißgerben, Leder aus Kalbs-, Schafs- und Geißfellen herstellten. Nach diesen trägt auch die Irreerstraße ihren Namen.
In der Reichsstadt Nürnberg erfolgte erst 1796 eine Hausnumerierung mit fortlaufenden Nummern, lediglich unterteilt nach Sebalder (S) und Lorenzer (L) Stadtseite. Zuvor waren Hausnamen (Irrerstraße 17: "Zum schwarzen Kreuz" und Irrerstraße 19: "Das weiße Rösslein und Hufeisen") gebräuchlich bzw. die exakte Beschreibung der Lage der Gebäude mit Nennung der Nachbarn. Unsere Häuser trugen die Nummern S.292 (Irrerstr. 17) und S.293 (Irrerstr. 19). Erst 1870 erfolgte dann eine genau definierte Straßenbenennung mit den heutigen Hausnummern.