Prosseguiu os seus estudos de teologia em Máriapócs (1868–1873). Em 1889, emigrou para os EUA. Em 1896, a sua igreja foi assaltada por ladrões. Gulovics enfrentou-os a armas, disparando com o revólver. Desenrolou-se uma luta violenta, durante a qual Gulovics sofreu ferimentos graves e acabou por ser obrigado a desistir da resistência. Os assaltantes saquearam a casa, apoderaram-se das chaves da tesouraria da igreja, fizeram explodir o cofre que ali se encontrava com dinamite e roubaram todo o seu conteúdo.