Urodził się 11 października 1939 r. w Bródkach, w woj. poznańskim jako trzecie z czwórki dzieci Stanisława i Józefy (z d. Stawińskiej) Grocholewskich. Święcenia kapłańskie przyjął 27 maja 1963 w Poznaniu, po czym przez 3 lata pracował w poznańskiej parafii Chrystusa Króla.

W 1966 jako młody kapłan wyjechał do Rzymu na studia prawa kanonicznego na Papieskim Uniwersytecie Gregoriańskim. Za wysoko oceniony licencjat otrzymał wówczas złoty medal tej uczelni, po czym w 1972 nagrodzono go podobnym złotym medalem, tyle że papieskim, za doktorat tamże.

W okresie studiów rzymskich wyjeżdżał na kursy językowe do Niemiec i Francji i tam okresowo udzielał się także duszpastersko w miejscowych parafiach.

Od października 1972 do 1999 pracował w Najwyższym Trybunale Sygnatury Apostolskiej, początkowo jako notariusz, w latach 1977-80 – jako pełniący obowiązki kanclerza, 1980-82 – kanclerz i w końcu od 5 października 1998 był prefektem. Łączyło się z tym stanowisko przewodniczącego Sądu Kasacyjnego Państwa Miasta Watykanu. Oba te urzędy piastował do 15 listopada 1999, gdy św. Jan Paweł II powołał go na prefekta Kongregacji Wychowania Katolickiego, co oznaczało automatycznie także godność wielkiego kanclerza Papieskiego Uniwersytetu Gregoriańskiego a także Papieskich Instytutów: Biblijnego, Muzyki Sakralnej, Archeologii Chrześcijańskiej oraz Studiów Arabskich i Islamskich.

Wcześniej, bo 21 grudnia 1982 papież mianował go biskupem tytularnym, po czym osobiście udzielił mu sakry 6 stycznia następnego roku w bazylice św. Piotra w Watykanie. 16 grudnia 1991 papież wyniósł go do godności arcybiskupa. Równolegle do swych obowiązków kurialnych prowadził też zajęcia dydaktyczne na Uniwersytetach Gregoriańskim i Laterańskim oraz na Studium Rotalnym.

Był postulatorem spraw beatyufikacyjnych bł. Edmunda Bojanowskiego i bł. Sancji Szymkowiak.

Na konsystorzu 21 lutego 1999 Ojciec Święty włączył go w skład Kolegium Kardynalskiego.

Jako biskup, arcybiskup i kardynał Zenon Grocholewski brał udział w wielu ważnych wydarzeniach kościelnych z Synodami Biskupów na czele oraz reprezentował Ojca Świętego na lokalnych uroczystościach rocznicowych w ponad 20 krajach, m.in. w Polsce, na Filipinach, w Słowacji, na Białorusi, w Ameryce Północnej i Południowej i w wielu innych. W pierwszej połowie lat osiemdziesiątych uczestniczył też w pracach nad nowym Kodeksem Prawa Kanonicznego i nad reformą Kurii Rzymskiej.

Wziął udział w dwóch posiedzeniach konklawe: w dniach 18-19 kwietnia 2005, które wybrało Benedykta XVI i 12-13 marca 2013, które dało Kościołowi papieża Franciszka. Ten drugi powołał 21 stycznia 2015 polskiego purpurata kurialnego w skład Kolegium ds. rozpatrywania podań składanych do Kongregacji Nauki Wiary.

31 marca 2015 kard. Grocholewski ustąpił ze stanowiska prefekta Kongregacji Wychowania Katolickiego.

W zeszłym roku reprezentował papieża Franciszka i Stolicę Apostolską na obchodach 75. rocznicy wyzwolenia niemiecko-nazistowskiego obozu koncentracyjnego Auschwitz-Birekenau.

Polski purpurat był autorem ponad 550 publikacji w 12 językach, m.in. głównych światowych, włoskim, łacińskim, polskim i kilku innych słowiańskich, a nawet po holendersku i maltańsku. W większości są to prace naukowe, zwłaszcza z prawa kanonicznego procesowego i małżeńskiego. Miał szczególne zasługi w odnowieniu prawa kanonicznego oraz praktyki sądów kościelnych w krajach postkomunistycznych.

Otrzymał wiele tytułów honorowych: obywatelstw i członkostw, został m.in. honorowym obywatelem miast Trenton i Princeton w USA, Agropoli we Włoszech czy Levoča w Słowacji. W 1998 ówczesna Akademia Teologii Katolickiej w Warszawie (dziś Uniwersytet Stefana Wyszyńskiego) nadała mu godność doktora honoris causa, a 24 października następnego roku uczynił to Katolicki Uniwersytet Lubelski. Podobne wyróżnienia nadały mu też m.in. uczelnie w Pasawie (Niemcy), w Glasgow, Bratysławie, Buenos Aires, Tajpei (Tajwan) i Uniwersytet im. Adama Mickiewicza w Poznaniu.