Er absolvierte sein Gymnasium in Budapest und Kalocsa. Anschließend trat er in den Jesuitenorden ein, der ihn zum Studium nach Innsbruck entsandte. Seit 1915 gehörte er zum Diözesanseelsorgeramt in Vác. Am 21. Mai 1916 wurde er zum Priester geweiht. 1927 reiste er in die USA, war jedoch mehrfach krank, weshalb er mehrmals nach Ungarn zurückkehrte und schließlich endgültig dort blieb. Ab 1943 wurde er in den Ruhestand versetzt, von seinen Verwandten aufgenommen und lebte praktisch in Armut. Sein Haus in Pásztó wurde im Krieg zerstört, weshalb er 1946 seine Wiedereinsetzung beantragte, diese jedoch nicht erhielt; er bekam eine Dienstwohnung in Vác und lebte dort bis zu seinem Tod. Das Gedenkbuch aus Chicago erinnert im Folgenden an ihn: „Pater Kasztovszky konnte sich nicht an die amerikanische Lebensweise gewöhnen. Es blieb ihm immer fremd, dass die gläubigen Gemeindemitglieder im Norden der Stadt weit verstreut und weit voneinander entfernt wohnten. Er war ein Priester mit vorbildlichem Lebenswandel und ein ausgezeichneter Redner, doch die englische Sprache blieb für ihn eine Barriere gegenüber der größeren Gruppe der Gläubigen.“ Da er keine offizielle Stelle erhielt, übernahm er seelsorgerische Hilfsaufgaben. Den Aufzeichnungen zufolge fuhr er noch in seinen Siebzigern wöchentlich mit dem Fahrrad nach Vác-Deákvár, um dort die Messe zu feiern. In Chicago, IL, wird sein Andenken durch einen Wanderpokal bewahrt, den der junge Mensch mit der schönsten Rezitationsstimme erhalten darf.