Pehm József néven született 1892. március 29-én a Vas vármegyei Csehimindszenten, nevét 1941-ben magyarosította szülőfaluja nyomán. 1915. június 12-én szentelték pappá, ezután a Vas vármegyei Felsőpatyon káplán, majd a zalaegerszegi gimnáziumban hittantanár volt. Az 1918-19-es forradalmak idején ellenzéki magatartása miatt szülőfalujába internálták. 1919-től Zalaegerszeg plébánosa volt, 1924-ben címzetes pornói apát lett, 1937-ben XI. Pius pápai prelátussá nevezte ki.
Az egész életében a totalitárius zsarnokságok ellen küzdő Mindszenty a harmincas években szembeszállt Gömbös Gyula diktatórikus törekvéseivel és a nyilaskeresztes mozgalommal. XII. Pius pápa 1944-ben veszprémi püspöknek nevezte ki, az év nyarán püspöktársaival együtt körlevélben tiltakozott a zsidóüldözés ellen. 1944. november 27-én a nyilasok letartóztatták, Veszprémben, majd a sopronkőhidai fegyházban raboskodott, december végétől Sopronban tartották házi őrizetben, ahonnan csak 1945. április 1-jén szabadult.
A pápa 1945 augusztusában Serédi Jusztinián utódaként Mindszentyt nevezte ki esztergomi érsekké, hercegprímássá, majd 1946 februárjában bíborossá. Személyében elveihez ragaszkodó, minden megalkuvást elutasító vezető került a magyar katolikus egyház élére. A hercegprímási címet közjogilag értelmezte, aktívan politizált, keresztény erkölcsi törvényeken alapuló társadalmat hirdetett. Szót emelt a felvidéki magyarság deportálása és a magyarországi németek kitelepítése ellen, ellenezte a katolikus sajtó korlátozását, a hitoktatás fokozatos betiltását, a katolikus intézmények államosítását, de a földosztást, a nemzeti bizottságok működését, a köztársasági államforma bevezetését is. Az egyeduralomra törekvő kommunista vezetéssel egyre gyakrabban szembekerülő főpap az antikommunista politika jelképes alakja lett. Rákosiék gondosan készültek a leszámolásra "a klerikális reakcióval", a szovjet tanácsadókkal zsúfolt politikai rendőrségen külön csoport foglalkozott "a Mindszenty személye és a köréje gyűlt reakciós kör" elleni harccal.
A rettegett Államvédelmi Hatóság durva sajtókampány után, 1948. december 26-án tartóztatta le a főpapot hűtlenség (hazaárulás), a demokratikus államrend és a köztársaság megdöntésére irányuló szervezkedés, kémkedés és valutaüzérkedés vádjával. Az ÁVH hírhedt székházában, az Andrássy út 60-ban heteken keresztül kínozták, hogy beismerő vallomást csikarjanak ki belőle. Ügyét a budapesti Népbíróság a pártok delegáltjaiból álló különtanácsa elé utalták, a három napig tartó "nyilvános" tárgyaláson csak előre megválogatott közönség vehetett részt. A koncepciós per végén, 1949. február 8-án Mindszentyt életfogytiglani börtönre ítélték, amit - a nemzetközi tiltakozás ellenére is - másodfokon megerősítettek. A megromlott egészségű főpap négy év magáncella után rabkórházba került, 1955 nyarától házi őrizetben volt a Baranya megyei Püspökszentlászlón, majd a nógrádi Felsőpetényben.
Az 1956-os forradalom és szabadságharc alatt, október 30-án egy páncélosalakulat szabadította ki, másnap Budára vitték, ahol a romos Prímási palotában rendezkedett be. A Nagy Imre-kormány által rehabilitált főpap november 3-i rádiószózatában óvott a pártviszálytól és a széthúzástól. Az eseményeket nem forradalomnak, hanem szabadságharcnak minősítette, amely "azért folyt, mert a nemzet szabadon akart dönteni arról, hogy miképpen éljen. Szabadon akart határozni sorsa, államának igazgatása, munkájának értékesítése felől".
A másnapi szovjet intervenció elől az Egyesült Államok budapesti nagykövetségére menekült, a követségi tartózkodást átmeneti szükségmegoldásnak gondolta, de "félfogsága" tizenöt évig tartott. A hatvanas évek végére a megváltozott világpolitika, a hidegháború enyhülése és a Vatikán ezzel együtt változó keleti politikája egyre sürgetőbbé tette a "Mindszenty-ügy" megoldását. A Szentszék, az Egyesült Államok és a magyar kormány megegyezése nyomán a főpap 1971. szeptember 28-án elhagyta Magyarországot, s a Szent VI. Pál pápánál tett rövid látogatás után Bécsbe, az esztergomi érsek egyházi joghatósága alá tartozó Pázmáneumba költözött. Nyolcvanévesen is folytatta lelkipásztori munkáját, látogatta a világban szétszóródott magyar közösségeket.
A pápa a magyar kormány sürgetésére, egyházpolitikai megfontolásból többször szólította fel Mindszentyt lemondásra, majd 1973. december 18-án üresnek nyilvánította az esztergomi érseki széket, az 1974 februárjában nyilvánosságra hozott döntést Mindszenty tudomásul vette.
A főpap 1975. május 6-án hunyt el Bécsben, végakaratához hűen ideiglenesen Mariazellben temették el. Hazahozott hamvait 1991. május 4-én helyezték ünnepélyesen végső nyugalomra az esztergomi bazilika prímási sírkápolnájában, a sír felirata: "Fidelissimus in tribulatione pastor" (az üldöztetés idején a leghűségesebb pásztor). Mindszenty Emlékiratai külföldön 1974-ben, Magyarországon 1989-ben, 2015-ben és idén javított kiadásban jelentek meg.
A rendszerváltozás után koncepciós per áldozatának nyilvánították és rehabilitálták, a Fővárosi Bíróság 1990. május 18-án kimondta, hogy az ellene hozott népbírósági ítéleteket semmisnek kell tekinteni. A hercegprímás teljes jogi, erkölcsi és politikai rehabilitálására 2012 márciusában került sor.
Boldoggá avatási eljárása 1994-ben kezdődött, 2019-ben Ferenc pápa engedélyezte a Szentté Avatási Kongregációnak, hogy dekrétumban tegye közzé "hősies erényeinek elismerését". 2021-ben a Vatikán tanulmánykötetet adott ki Mindszenty József bíboros pere hetven év távlatából címmel. 2022-ben Zalaegerszegen Mindszenty József Múzeum és Zarándokközpont (Mindszentyneum) kezdte meg működését.
