Otthonról hozott mély vallásossága mellett a cisztereknél és az innsbrucki jezsuitáknál eltöltött évek Pétery József püspök egész életére meghatározó élményekké váltak. 1912. december 29-én szentelték pappá, ezt követően az egri papnevelde dogmatika tanára, majd lelki igazgatója, spirituálisa. 1938-ban kanonoki és székesegyházi plébánosi kinevezést kapott. Számos újítás bevezetése kötődik nevéhez: májusi litániák, Jézus Szíve ájtatosság, ágyban fekvő betegek számára lelkigyakorlat szervezése.

XII. Piusz pápa, 1942. október 24-én nevezte ki a Váci Egyházmegye főpásztorának. Jelmondata: „Misericordias Domini in aeternum cantabo” (Az Úr irgalmasságát éneklem mindörökké).

Nehéz történelmi helyzetben lett vezetője a Magyar Királyság akkori legnagyobb egyházmegyéjének, melyhez 211 plébánia, 463 pap, 234 katolikus iskola, 88 rendház és több, mint egy millió hívő tartozott.

Pétery püspöki, lelkipásztori elképzeléseinek középpontjában a háborús években és azt követően is az Oltáriszentség korai és gyakori vételének előmozdítása, terjesztése az Eucharisztia tiszteletének elmélyítése állt. Főpásztori programjának másik központi eleme a papnevelés.

Elrendelte a váci székesegyház felújítását, a szociális nehézségek enyhítése érdekében ferences szegénygondozó nővéreket telepített le Vácott és az egyházmegyében, az alföldi tanyavilág lelkigondozása érdekébe missziókat szervezett. A háború, illetve a frontvonal közeledésekor, 1944-ben Pétery püspök megtiltotta papjainak, hogy állomáshelyüket, s a reájuk bízottakat elhagyják. A püspöki várost ért bombázások alatt papjaival és híveivel volt, a palota pincéjében menedéket nyújtott a váciaknak.

A világháború után új korszak következett. A hatalom fő ellenségnek a Magyar Katolikus Egyházat és Mindszenty József bíborost tekintette. Pétery József püspök szilárdan állt a prímás mellett, ezért hamarosan ő is részese lett az üldözésnek. A katolikus egyesületek szétzúzása, az iskolák államosítása, majd a Mindszenty József ellen indított koncepciós pert követően az egyház elleni támadások tetőzése a szerzetesrendek feloszlatása, s ezzel együtt az állam és az egyház közötti megegyezés kikövetelése illetve a papi békemozgalom elindítása volt. Pétery József püspök eltiltotta papjait a békemozgalomban való részvételtől, és helytelenítette az egyház békemozgalommal való szoros együttműködését. Pétery püspököt ezért utazásaiban korlátozták, majd házi őrizetben tartották, végül Hejcére száműzték és gondosan őrizték. Papjaitól, híveitől teljesen elszigetelték.

Az 1956-os forradalom egy rövid időre szabaddá tette Pétery Józsefet is, ám 1957 tavaszán ismét száműzték Hejcére, ahol 1967. november 25-én bekövetkezett haláláig élt. Egyik hejcei látogatójának megjegyezte: „Mikor ez történt velem, azt hitték egyesek, hogy összeroppanok. Eszem ágban sem volt. Legyen, amit az Isten akar. Lehet, hogy munkám kiadását sem élem meg. De én teljesítettem a kötelességemet.” Elődei mellé, a váci székesegyház sírboltjába helyezték örök nyugalomra.