Sárváry —Joseph J. Sarvary en las fuentes estadounidenses y Sasváry en algunas fuentes húngaras— József nació el 21 de septiembre de 1898 en Csepregen.
En 1919 se graduó en el instituto, aunque ya desde 1915 era seminarista menor; posteriormente, entre 1918 y 1923, cursó sus estudios de teología en Pécs.
Una vez finalizados estos, el 1 de julio de 1923 fue ordenado sacerdote en Pécs para el servicio de la Diócesis de Pécs. Tras su ordenación, ejerció en Mecsekszabolcs hasta 1927 como vicario; entre 1932 y 1933 fue administrador en Kajdacs, y posteriormente, entre 1933 y 1936, párroco de la misma localidad.
Ya en el momento de su ordenación le rondaba la idea de emigrar a Estados Unidos, pero no llevó a cabo su plan hasta 1936. En ese momento, a petición de József Reseterics, párroco de Belén, el obispo diocesano Ferenc Virág le concedió una excedencia de tres años.
Tras su llegada a Estados Unidos, en Belén (Pensilvania), pasó a ser vicario de la iglesia de San Juan de Capistrano, dependiente de la diócesis de Filadelfia; según la terminología de las fuentes estadounidenses, se convirtió en «assistant rector».
Su servicio en Estados Unidos duró muy poco tiempo. En enero de 1937 sufrió graves problemas de salud: se le diagnosticó un cáncer de estómago incurable y, aunque fue operado, falleció el 16 de julio de 1937 en el Hospital del Sagrado Corazón de Allentown.
Su tumba se encuentra en Bethlehem, Pensilvania (EE. UU.).