La résidence du gouverneur fait partie des bâtiments historiques de Diégo-Suarez. Elle est construite à la fin du XIXe siècle par Ernest Froger, premier gouverneur de la ville. Le bâtiment suit le style créole de l’époque, avec une structure en U et une grande varangue soutenue par des colonnes. Avec le temps, certaines modifications ont été apportées, dont l’ajout d’un pignon central.

La résidence est située au bout de la rue Colbert, l’une des principales rues de Diégo-Suarez. À l’origine, elle donnait directement sur la rue avant d’être séparée par l’installation de grilles.

À l’arrière du bâtiment, un jardin prolonge l’ensemble. On y trouve une pergola et un espace ouvert tourné vers la mer, qui faisait partie de l’organisation initiale du lieu.