Sárváry — Joseph J. Sarvary nas fontes americanas, Sasváry em algumas fontes húngaras — József nasceu a 21 de setembro de 1898 em Csepregen.
Concluiu o ensino secundário em 1919, mas já era seminarista desde 1915, tendo depois, entre 1918 e 1923, concluído os seus estudos de teologia em Pécs.
Após a conclusão destes estudos, foi ordenado sacerdote em 1 de julho de 1923, em Pécs, para o serviço da Diocese de Pécs. Após a ordenação, exerceu o seu ministério em Mecsekszabolcs até 1927, como vigário; entre 1932 e 1933, foi administrador em Kajdacs, tendo sido depois pároco na mesma localidade entre 1933 e 1936.
Já na altura da sua ordenação, a ideia de emigrar para os Estados Unidos ocupava-lhe a mente, mas só em 1936 concretizou o seu plano. Nessa altura, a pedido de József Reseterics, pároco de Bethlehem, o bispo diocesano Ferenc Virág concedeu-lhe uma licença de três anos.
Após a sua chegada aos Estados Unidos, em Belém, no estado da Pensilvânia, tornou-se vigário adjunto — ou, segundo a formulação da fonte americana, «assistant rector» — da igreja de São João Capistrano, sob a jurisdição da diocese de Filadélfia.
O seu ministério nos Estados Unidos durou muito pouco tempo. Em janeiro de 1937, surgiu-lhe um grave problema de saúde: desenvolveu um cancro de estômago incurável e, apesar de ter sido operado, faleceu no Hospital Sacred Heart, em Allentown, a 16 de julho de 1937.
O seu túmulo encontra-se em Bethlehem, PA, EUA.