Po wojnie uczęszczał do Liceum i Gimnazjum im. J. Kasprowicza, które ukończył w 1950 r. z dyplomem przodownika nauki i pracy społecznej. Studiował w Prymasowskim Wyższym Seminarium Duchownym w Gnieźnie, a przez rok także w seminarium w Poznaniu. Święcenia kapłańskie otrzymał 25 maja 1956 r. w Gnieźnie.
Początkowo pracował w Mogilnie, a potem jako kapelan Sióstr Dominikanek prowadzących zakład dla nieuleczalnie chorych dzieci w Mielżynie. Po studiach prawa kanonicznego w Uniwersytecie Laterańskim w Rzymie otrzymał w 1964 r. doktorat obojga praw oraz tytuł adwokata Roty Rzymskiej. Od 1967 r. pracował w sekretariacie prymasa Polski. Jako sekretarz i kapelan kardynała Stefana Wyszyńskiego podróżował z nim po kraju i jeździł za granicę. Był też profesorem Akademii Teologii Katolickiej w Warszawie.
W 1972 r. został kapelanem honorowym papieża Pawła VI, a w 1976 r. kanonikiem kapituły w Gnieźnie. 4 marca 1979 r. Jan Paweł II ustanowił go biskupem warmińskim, a od 7 lipca 1981 r. jako jeden z najmłodszych biskupów polskich został osiemdziesiątym z kolei arcybiskupem gnieźnieńskim, dwunastym arcybiskupem warszawskim i pięćdziesiątym szóstym prymasem Polski.
Swą dewizą biskup uczynił słowa: "Caritati in iustitia" (Dla miłości - w sprawiedliwości). Był współprzewodniczącym zespołu legislacyjnego Komisji Wspólnej Przedstawicieli Rządu i Episkopatu. Ma bogaty dorobek naukowy z zakresu prawa kanonicznego i historii Kościoła. 2 lutego 1983 r. papież Jan Paweł II wyniósł arcybiskupa Józefa Glempa do godności kardynalskiej.
