A házat Szegedy János kanonok építette 1784-1786 között, Hefele Menyhért tervei alapján. Ez volt az első kétemeletes lakóház a városban - követve a püspöki épületek magasságát. Alig készült el a palota, amikor Szegedy Jánosnak le kellett mondani kanonoki tisztjéről. Ekkor, 1790-ben, az épületet is eladta Festetics grófnak, a keszthelyi Georgikon alapítójának. Ezután még volt Ormosdy János, majd Batthyány Károly birtokában is, végül 1808-ban a csornai premontrei prépostság vette meg.
1950-ig szolgálta az épület a rend céljait, majd a 90-es évek elején újra visszakerült a premontreiek birtokába. A ház földszintjén eredetileg üzletek voltak, középütt kapubejáróval. A 80-as években, az épület földszintjén kapott helyet a Gyermek-Ideggondozó Intézet és az MTI Vas Megyei Szerkesztősége. Az emeleten helyezkedtek el a lakások és vendégszobák. (Ma papok és a rend tanárai laknak bennük) A volt Szegedy-ház udvarán van a premontreiek 1893-ban épült főgimnáziuma (ma: premontrei rendi Szent Norbert Gimnázium). A tűzfalára pedig nemrég festették fel a Szombathely történetét bemutató hatalmas freskót.
