A 16. században, lakótoronnyal épült udvarházat, mely a 18. században emeletes, árkádos palotaszárnnyal bővült, 1816-ban Szegedy Károly császári és királyi kamarás, a Mező-Szegedről származó dunántúli birtokos család sarja, feleségével együtt vásárolta meg.
Sümegről tették át lakhelyüket Hermánba. A família másik megyei kastélya Acsádon található.
Szegedy unokatestvére volt Szegedy Róza, Kisfaludy Sándor múzsája és felesége, valamint Szegedy Ferenc, a Magyar Tudományos Akadémia tagja.
A gyönyörű épületegyüttes hatalmas parkjával 1830 körül nyerte el jelenlegi formáját. Szegedy ekkor építtette át és bővíttette klasszicista stílusban. A 19. század végén, 20. század elején a kastély pompás főúri lakhelyként volt berendezve.
Áttételesen, egy különös öngyilkosság is kapcsolódik a helyhez. Károly unokája, a morózus és „igénytelen megjelenésű”, különc Szegedy-Ensch Károly báró, a gyöngyöshermáni hitbizomány ura, 1913 áprilisában rejtélyes okokból főbe lőtte magát, barátjának, a Vasvármegye tulajdonos-főszerkesztőjének, Szegedy ügyeinek intézőjének, Lingauer Albinnak Kossuth Lajos utcai lakásán.
Az eset akkor történt, amikor Lingauer pár percre magára hagyta a bárót és átment a kiadóhivatalba. Szegedy-Ensch nem halt meg egyből, de másfél óra küzdelem után a vérveszteség következtében szervezete feladta a harcot. Holttestét a kastélyában ravatalozták fel.
Évekig találgatták, mi lehetett az öngyilkosságot kiváltó ok. Elképzelhető, hogy az elhatalmasodó depresszió mellett összefüggésben volt a Mezőgazdasági Gyáriparszövetkezet 1912-es csődjével, Szegedy volt ugyanis az elnöke.
A helyszín arról is ismert, hogy Szegedy-Ensch Sándor báró invitálására hónapokig itt élt Bethlen István egykori miniszterelnök.
A palotát 1945-ben szovjet csapatok szállták meg és annak „rendje és módja” szerint, (a polgári lakosság közreműködésével) kifosztották, tönkretették. A család ezt már nem várta meg, még előtte távoztak a kastélyból.
A háború után állami tulajdonba került a birtok. Előbb szolgálati lakások voltak benne, majd 1959-től 1989-ig a Rostlentermesztési Kutató Intézet működött itt. 1979-80-ban renoválták a kastélyt, Beck Tamás kereskedelmi miniszter döntése alapján.
A birtok „másodvirágzását” élte akkoriban. A kastélyban voltak az intézet irodái, az ebédlő és a büfé, a melléképületekben az úgynevezett. „gépállomás”. A palota vetélkedők, bálok, kulturális rendezvények nemes helyszíne volt. A gyönyörű, rendezett parkban pompáztak a platán, szeder és ginkgo biloba fák.
A rendszerváltás aztán itt sem a várva-várt „kánaánt” hozta el. Egy olasz érdekeltségű kft. jutott tulajdonhoz a kastély üzemeltetésében. A tulajdonosi kör egy csődbe jutott, másik céghez is köthető volt, az épületre jelentős tartozás lett terhelve.
Külön pikantériája a dolognak, hogy a Millenniumi Kastélyprogram keretében 50 százalékos hozzájárulást, 25 millió forintot kaptak a tulajdonosok a palota felújításra, valamint szállodai és vendéglátó funkciók megvalósítására.
A helyzet azonban tovább romlott, őrzés, gondoskodás híján a kastélyparkot betolakodók tönkretették, fáit tüzelőnek kivágták és elhordták, a kastély minden mozdítható értékét tönkretették, vagy eltulajdonították. Később hajléktalanok húzták meg magukat a pusztuló, dohos falak ölelésében.
Az épület most már tulajdonképpen menthetetlen, „elveszett” és áldozattá vált a tulajdonosi kör, a műemlékeket kezelő állami gondnokság és a naiv városi jószándék hármas útvesztőjében.
Üzleti szempontból már csak maga a terület, az egykori park maradványa (elsősorban az is a méretei és kedvező földrajzi elhelyezkedése miatt) „értelmezhető”.
Jelenleg egy budapesti székhelyű ingatlaniroda 350 millió forintért árulja a 842 négyzetméteres ingatlant a hatalmas telekkel együtt. A hirdetés szerint kész építési-pályázati dokumentáció és a kastély parkjára kidolgozott átalakítási terv áll rendelkezésre. (Ez benne van a vételárban.) Feltehetően ennek elkészültének köze lehet a korábban említett kastélyprogrammal összefüggő támogatással.
A kastély egy jó ideje az urbex (urban exploration), vagyis a városfelfedezés hódolóinak közkedvelt zarándokhelyének számít, akik kifejezetten romos, elhagyatott helyek bejárására és azok képes archiválására specializálódnak anélkül, hogy az épület aktuális állapotába bármilyen beavatkozást tennének. Képgalériánk az általuk készített, sok esetben a világhálóra is feltöltött többszáz fotóból válogat.
Az elmúlt évtizedekben rengetegen emeltek szót a pusztuló épület megmentése érdekében, se szeri, se száma azoknak, akik tenni kívántak érte, a kastély sorsa mégis iskolapéldája annak, hogy a „sok bába között, hogyan veszik el a gyermek”.
