1944-45-ben meg tudta óvni a püspökség épületeit, mivel a megszálló oroszokkal tudott tárgyalni német nyelven. 1948-ban az egyházi iskolák felszámolása során Pétery püspök több papját elveszítette, mert azok, akik nyíltan szembeszálltak a diktatúrával, börtönbe kerültek. A katolikus egyház életének korlátozása tovább folytatódott 1950-ben, amikor a szerzetesrendek működését törvényerejű rendelet tiltotta be. A szerzetesek szétszóratása után Pétery püspök a püspöki palotába fogadta őket, ahol rendi ruha nélkül élhettek. Az állami hűségesküt Pétery József is letette a többi püspöktársával együtt, mivel nem láttak más lehetőséget az egyház fennmaradására az adott politikai körülmények között. Pétery püspököt újságcikkekben és a püspöki palota előtt szervezett tüntetéssel támadták.

Az Állami Egyházügyi Hivatal felállításával a magyarországi egyházak mindegyike elvesztette autonómiáját. A váci püspökségre is költözött egy ÁEH-biztos, aki mindent – beleértve a levelezést is – figyelte és jelentette az államvédelemnek. 1950-ben a kommunista állam és Pétery között a helyzet nagyon kiéleződött. A magyar állam a kommunista párt irányítása alatt mindenkit át akart nevelni a marxista-leninista ideológia szerint. Pétery püspök az egyházi törvényekre hivatkozva papjait a politikai tevékenységtől szerette volna visszatartani, ezért fellépett az állam által szervezett békepapság ellen. Papjai közül hárman ekkor a kistarcsai internáló táborba kerültek, közül az egyik ott is halt meg.

1951-ben Pétery már házi őrizetben volt, köztudott volt ugyanis, hogy Mindszenty József bíboros, hercegprímás, esztergomi érsek irányvonalát akarja követni. Az őrizet azt jelentette, hogy az ÁVO emberei éjjel-nappal a püspök mellett voltak. Ezért az egyházmegye kormányzását ekkor első ízben átadta dr. Kovács Vince általános helynöknek, segédpüspöknek. 1953-ben pedig kénytelen volt elhagyni Vácot, Hejcén élt száműzetésben, a Kassai püspökség tulajdonát képező épületben, amely ez idő tájt szociális otthon volt.

1956-ban Mindszenty bíboros kiszabadítása után Pétery püspök is visszatérhetett Vácra. Ekkor megnyíltak a váci börtön kapui is. Az ott bebörtönzött papok legtöbbje bemehetett a püspökségre, ahol ebédet is kaptak. A forradalom bukásával azonban Péterynek vissza kellett térnie fogsága helyére, Hejcére, ahol 1967-ben halt meg.

(A megemlékezés dr. Varga Lajos segédpüspök 2021.október 23-án, Vác város ünnepségén, dr. Pétery József püspök emléktáblájának koszorúzásánál elhangzott beszédének szerkesztett változata.)

Pétery püspök a száműzetésében az Eucharisztia tiszteletének elmélyítéséért és a legszentebb áldozatot bemutató hivatások ébresztéséért fáradozott. "A szentmise története" című munkájának első kiadása 1931-ben jelent meg. A könyv a II. Vatikáni Zsinat előtt jelent meg, de éppen a megújított szentmise és a liturgikus reform miatt igen hasznos történeti áttekintést és magyarázatot ad a szentmise részeiről. A kiadvány az úgynevezett tridenti szentmisét magyarázza, de ezzel is segítheti a fiatalabbakat a szentmise mélyebb megértésében. (forrás: Váci Egyházmegyei Könyvtár)