Cursou o ensino secundário em Budapeste e em Kalocsa. Posteriormente, ingressou na Ordem dos Jesuítas, tendo sido enviado por esta para Innsbruck para prosseguir os estudos. Desde 1915 que pertencia à Diocese de Vác. Foi ordenado sacerdote a 21 de maio de 1916. Em 1927, partiu para os EUA, mas adoeceu várias vezes, pelo que regressou à Hungria por várias vezes, acabando por ficar definitivamente no país. A partir de 1943, foi colocado na reserva, tendo sido acolhido por familiares, vivendo praticamente na miséria. A sua casa em Pásztó foi destruída durante a guerra, pelo que, em 1946, solicitou a reativação do seu cargo, mas não a obteve; recebeu uma habitação de serviço em Vác, onde viveu até à morte. O livro de memórias de Chicago recorda-o da seguinte forma: «O padre Kasztovszky não conseguiu habituar-se ao modo de vida americano. Sempre lhe pareceu estranho que, na zona norte da cidade, os fiéis vivessem dispersos por todo o lado, a grande distância uns dos outros. Era um padre de vida exemplar e um excelente orador, mas a língua inglesa continuou a ser uma barreira para ele em relação aos grupos de fiéis mais numerosos.» Como não recebeu qualquer cargo oficial, assumiu funções de assistência pastoral. Segundo os registos, ainda na casa dos setenta anos ia de bicicleta todas as semanas a Vác-Deákvár para celebrar a missa. Em Chicago, IL, a sua memória é preservada por um troféu itinerante, que é atribuído ao jovem que recitar melhor.