Haller Xavér Ferenc 1716. december 22-én született Varasdon. A jezsuita rendbe 1733-ban lépett be; a források szerint vagy október 27-én Trencsénben, vagy november 3-án Bécsben. Noviciátusát Bécsben végezte. 1736-ban Zágrábban tanárképzőben tanult, 1737-től Grazban logikát, metafizikát és fizikát hallgatott, majd Zágrábban, Varasdon, Grazban és Bécsben tanult, illetve tanított. 1744–1747 között Nagyszombatban teológiát végzett, 1748-ban Besztercebányán töltötte a terciát, 1749–1750-ben pedig Ljubljanában matematikát tanított.

A későbbi források gyakran összekeverték Haller József jezsuitával, valamint a „Quito” megjelölést is félreértelmezték. Haller Xavér Ferenc nem egyszerűen quitói hittérítőként, hanem tudós jezsuitaként, matematikai és csillagászati ismeretei miatt került be a spanyol–portugál határexpedíció előkészületeibe. 1754-ben Cumanába érkezett, majd az Orinoco–Guayana térségében működött. 1755 májusában vagy június 24-én, valahol Trinidad és Guayana között, trópusi lázas betegség következtében halt meg.