Hans Fredrik Esbensen var handelsmann i Vadsø. Hans foreldre var Rasmus Galberg Esbensen (1827-1914) og Mathilde Henriette Brammer (1826-1895). Hans Fredrik overtok sin fars handelsforretning, R.G. Esbensen, i Ytre kvenby (i dag Ytrebyen), en bydel som var i sterk vekst på grunn av den store kvenske innvandringen. Han var 2. generasjon, etter Rasmus og Mathilde, som bodde i Esbensengården. Esbensengården ble oppført i 1848-1849 av Rasmus Galberg. Den er antatt bygget av russisk tømmer, «russetømmer» som også er typisk for mange førkrigs hus i Vadsø og som kom med pomorhandelen. Her var tømmer blant de viktigste importvarene til Vadsø og familiens handel var også en del av pomorhandelen. Spor fra pomorhandel og de russiske forbindelsene ser vi også i inventaret på Esbensengården. For eksempel det gamle russiske teserviset, krystallglass, russisk vaskestell og en samovar som familien har eid. I 1870-årene ble gårdsanlegget utvidet til en grunnflate på 400 kvm. Esbensengården er i dag et fredet museumsanlegg eid av Vadsø kommune og driftet av Varanger museum. Da Hans Fredrik overtok forretningen fra sin far trappet han noe ned på fiskehandelen og satset mer på kolonialhandel. I 1917 brant butikken som var plassert på andre siden av gata over gården. I stedet ble det butikk i sentrum, der de overtok Ackermanns forretning og var der fram til 1944. 17. september 1881 ble Hans Fredrik gift med Bergitte Katrine (Gitta) Bodtkorb (1858-1895) fra Vardø. De fikk 6 barn sammen, men de 5 første døde av sykdom i en alder av 0-5 år. Bergitte døde i barsel da det 6. barnet, Mathilde (1895-1967), ble født. 17. januar 1899 ble Hans Fredrik gift med Kristiane Marie (Kitta) Olsen (1868-1946) fra Fredrikshald (i dag Halden). I perioden 1899-1907 fikk de 4 barn sammen.