Xavér Ferenc Haller wurde am 22. Dezember 1716 in Varasd geboren. Er trat 1733 in den Jesuitenorden ein; den Quellen zufolge entweder am 27. Oktober in Trenčín oder am 3. November in Wien. Sein Noviziat absolvierte er in Wien. 1736 studierte er an der Lehrerbildungsanstalt in Zagreb, ab 1737 belegte er in Graz Vorlesungen in Logik, Metaphysik und Physik; anschließend studierte und lehrte er in Zagreb, Varasdon, Graz und Wien. Zwischen 1744 und 1747 absolvierte er in Nagyszombat ein Theologiestudium, 1748 verbrachte er sein Tertiat in Besztercebánya und unterrichtete von 1749 bis 1750 in Ljubljana Mathematik.

Spätere Quellen verwechselten ihn oft mit dem Jesuiten József Haller und interpretierten auch die Bezeichnung „Quito“ falsch. Ferenc Xavér Haller wurde nicht einfach als Missionar in Quito, sondern als gelehrter Jesuit aufgrund seiner Kenntnisse in Mathematik und Astronomie in die Vorbereitungen für die spanisch-portugiesische Grenzexpedition einbezogen. 1754 kam er nach Cumaná und war anschließend im Orinoco-Guayana-Gebiet tätig. Im Mai 1755 oder am 24. Juni starb er irgendwo zwischen Trinidad und Guayana an einer tropischen Fiebererkrankung.