V škofa je bil posvečen leta 1965, pozneje pa je postal predsedujoči nigerijski škofovski konferenci. 1985. ga je papež imenoval za predsednika sekretariata za nekristjane, ki se je pozneje preimenoval v papeški svet za medverski dialog. Arinze mu je načeloval vse do leta 2002, od tedaj pa je na čelu kongregacije za kult in disciplino zakramentov.
Bavarskega kardinala Josepha Ratzingerja poznavalci že vrsto let omenjajo kot enega najresnejših kandidatov za novega papeža.