Gimnáziumi tanulmányait Budapesten és Kalocsán végezte. Ezután belépett a jezsuita rendbe, s a rend Innsbruckba küldte tanulmányokat végezni. 1915-től váci egyházmegyés. 1916. május 21-én szentelték pappá. 1927-ben távozott az USA-ba, de több alkalommal is betegeskedett, ezért többször hazajött Magyarországra, majd véglegesen itt is maradt. 1943-tól nyugállományba helyezték, rokonai fogadták be, gyakorlatilag nyomorgott. Háza Pásztón a háborúban megsemmisült, ezért 1946-ban kérte reaktiválását, de nem kapta meg, Vácott kapott szolgálati lakást, s ott élt halálig. A chicago-i emlékkönyv az alábbiakban emlékezik meg róla: „Ft. Kasztovszky nem tudta megszokni az amerikai életvitelt. Idegen maradt számára mindig, hogy a város északi oldalán a jó hívek nagy távolságra egymástól szétszórtan laktak mindenfelé. Példás életű pap, kitűnő szónok volt, de az angol nyelv válaszfal maradt számára a hívek nagyobb létszámú csoportja felé.” Mivel hivatalos beosztást nem kapott, ezért lelkipásztori kisegítést vállalt. A feljegyzések szerint még a hetvenes éveiben is hetente biciklizett Vác-Deákvárra misézni. Chicago, IL-ben emlékét vándorserleg őrzi, melyet a legszebben szavaló fiatal kaphat meg.