Sárváry – indicato come Joseph J. Sarvary nelle fonti americane e come Sasváry in alcune fonti ungheresi – József nacque il 21 settembre 1898 a Csepregen.
Nel 1919 conseguì la maturità, ma già dal 1915 era seminarista minore; successivamente, tra il 1918 e il 1923, completò gli studi di teologia a Pécs.
Al termine di questi studi, il 1° luglio 1923 fu ordinato sacerdote a Pécs al servizio della diocesi di Pécs. Dopo l’ordinazione, fino al 1927 operò a Mecsekszabolcs come viceparroco; tra il 1932 e il 1933 fu amministratore a Kajdacs, per poi ricoprire la carica di parroco nella stessa località dal 1933 al 1936.
Già al momento dell’ordinazione era affascinato dall’idea di emigrare negli Stati Uniti, ma realizzò il suo progetto solo nel 1936. In quell’occasione, su richiesta di József Reseterics, parroco di Betlemme, il vescovo diocesano Ferenc Virág gli concesse un congedo di tre anni.
Dopo il suo arrivo in America, a Betlemme, nello Stato della Pennsylvania, divenne viceparroco della chiesa di San Giovanni Capistrano, che operava sotto l’autorità della diocesi di Filadelfia; secondo la formulazione della fonte americana, ne divenne «assistant rector».
Il suo ministero negli Stati Uniti durò pochissimo tempo. Infatti, nel gennaio del 1937 insorsero gravi problemi di salute: gli fu diagnosticato un cancro allo stomaco incurabile e, nonostante fosse stato operato, morì il 16 luglio 1937 presso l’ospedale Sacred Heart di Allentown.
La sua tomba si trova a Betlehem, in Pennsylvania (USA).