Magyarország 1994 és 1998 közötti miniszterelnöke elsöprő szocialista választási győzelem után került a kormányfői székbe, ekkorra már komoly karrierpályát tudhatott maga mögött: a nyolcvanas évek végétől az MSZMP-n belüli reformszárny tagjaként tartották számon, a külkapcsolatokról vallott és külföldi tárgyalópartnereivel folytatott megbeszélésein meg is fogalmazott nézetei nyomán az a vélemény alakult ki róla, hogy felkészült, felvilágosult gyakorlati szakember.
1989 májusától 1990 májusáig a Németh-kormány külügyminisztere volt, nevéhez fűződött a diplomáciai kapcsolatok felvétele Dél-Koreával, Izraellel, a Vatikánnal és a Dél-afrikai Köztársasággal.
A rendszerváltás évében ő volt az, aki osztrák kollégájával ünnepélyesen átvágta a vasfüggönynek nevezett műszaki határzár szögesdrótját, valamint bejelentette, hogy 1989. szeptember 11-től a magyar hatóságok átengedik a nyugati határon a Német Demokratikus Köztársaság (NDK) azon állampolgárait, akiket Ausztria vízum nélkül hajlandó fogadni. A határ október 7-ig állt nyitva. A döntés bejelentésekor mintegy hatvanezer keletnémet volt Magyarországon. Ez a határnyitás jelentős lépésnek bizonyult később a német újraegyesítés folyamatában.
A szovjet csapatkivonást és a Bokros-csomagot is neki köszönhetjük
Előkészítette és 1990 márciusában ő írta alá a magyar-szovjet csapatkivonási megállapodást. Már ebben az időszakban felvetette Magyarország lehetséges NATO-tagságának témáját, illetve az Európai Unióhoz való távlati csatlakozás kérdését. De volt más nagy tette is: az ő kormánya fogadta el és hajtotta végre a gazdaság szanálása érdekében az akkori pénzügyminiszterről elnevezett Bokros-csomagot, amely hozzájárult ahhoz, hogy Magyarország elkerülte a fenyegető pénzügyi csődöt és az ország gazdasága viszonylag rövid időn belül növekedési pályára állt.
1990-től 2010-ig volt tagja az Országgyűlésnek, 2007 szeptembere óta azonban, betegsége miatt, nem vett részt a parlament munkájában. 1990 májusától 1993. januári lemondásáig az Országgyűlés külügyi bizottságának elnöki tisztét is ellátta.