Er wurde im Königreich Galizien und Lodomerien geboren, das Teil der Österreichisch-Ungarischen Monarchie war. Seine Eltern waren Albert Koller und Anastasia Bauer; er hatte sieben Geschwister. Im Alter von zwei Jahren kam er in die USA. Am 14. Juni 1936 wurde er zum Priester geweiht.
Er war in der ungarischen Seelsorge tätig, doch es gibt keine Angaben darüber, wann und wo er Ungarisch gelernt hat.