Ferenc Xavér Haller nació el 22 de diciembre de 1716 en Varasd. Ingresó en la orden de los jesuitas en 1733; según las fuentes, bien el 27 de octubre en Trenčín, bien el 3 de noviembre en Viena. Realizó su noviciado en Viena. En 1736 estudió en la escuela de magisterio de Zagreb; a partir de 1737 cursó lógica, metafísica y física en Graz, y posteriormente estudió y enseñó en Zagreb, Varasd, Graz y Viena. Entre 1744 y 1747 se licenció en teología en Nagyszombat, en 1748 pasó el tercer año en Besztercebánya y entre 1749 y 1750 enseñó matemáticas en Liubliana.

Las fuentes posteriores a menudo lo confundieron con el jesuita József Haller, y también malinterpretaron la indicación «Quito». Xavér Ferenc Haller no solo participó en los preparativos de la expedición fronteriza hispano-portuguesa como misionero de Quito, sino también como jesuita erudito, gracias a sus conocimientos de matemáticas y astronomía. Llegó a Cumaná en 1754 y luego trabajó en la región del Orinoco y Guayana. En mayo de 1755 o el 24 de junio, en algún lugar entre Trinidad y Guayana, falleció a causa de una enfermedad febril tropical.