De familie Rufi is afkomstig uit Saanen in het Zwitserse kanton Bern. Johann Rufi, oudste zoon van Abraham Rufi en Anna Beer, was fuselier in het Regiment Zwitsers nr. 29 (ook bekend als Regiment Kirchberger/Von Jenner) dat na de overeenkomst van 23 september 1814 met het kanton Bern in Koninklijke Nederlandse Dienst werd samengesteld om het zich opbouwende Nederlandse leger na Napoleons terugkeer van Elba te versterken. Detachementen marcheerden via het Zwarte Woud naar ‘s-Hertogenbosch en werden later achtereenvolgens te Breda, Grave, Turnhout en Antwerpen gelegerd. Johann Rufi’s militaire carrière verliep verre van vlekkeloos, een veroordeling wegens desertie in 1826, en mondde uiteindelijk uit in een verbintenis voor de Oost. Dit parenteel volgt zijn nakomelingen bij de inlandse vrouw Saima, met daarnaast een Amerikaanse Rufi-tak die in 1851 via emigratie naar Chamois in Osage County, Missouri, ontstond.