Nel 1871 Charles Garnier lasciò Parigi con la famiglia e si trasferì a Menton in Costa Azzurra, città natale della moglie, Louise Bary; visitando i dintorni scoprì Bordighera dove scelse un terreno per costruire la sua villa, fuori dalle mura della città vecchia, che scendeva verso il mare e la spiaggia dei pescatori: la famosa Arziglia.

Qui Garnier progettò una Villa particolarmente elegante, in cui si può ritrovare uno stile orientale: infatti, anche se dal disegno originale sono state fatte delle modifiche, lo stile moresco resta comunque presente nella struttura della torre, sottile e slanciata come un minareto arabo; la Villa, così particolare, divenne un modello per l'architettura della Riviera e della Costa Azzurra.

Charles Garnier abitò nella Villa con la moglie ed il figlio Christian , di cui si può vedere un ritratto da bambino nell'entrata; era solito ospitare i suoi amici e per questo acquistò e fece costruire numerose Dépendance tutto intorno alla Villa, alcune delle quali tuttora esistenti e che si possono notare ai lati della via che porta alla Villa, partendo dall'Aurelia.

Nell'agosto del 1898 Garnier venne a mancare in Francia, e poco tempo dopo mancò anche l'amato figlio Christian. La vedova continuò a venire a Bordighera durante la stagione invernale, ma non ebbe più il coraggio di tornare alla Villa. Alla sua morte Louise legò la villa alla Sociètè de Gèographie di Parigi, lasciando anche tutti gli arredi, le opere d'arte, i libri, ecc. oltre a 200.000 franchi per il mantenimento della proprietà, con l'unica condizione che la villa non fosse venduta. Malgrado questa clausola, nel 1929 la villa fu venduta al critico d'arte americano John Hemming Fry che, in segno di ammirazione, fece innalzare un monumento a Garnier, nella Pineta del Capo, il 28 aprile 1935.

La proprietà passò poi alla diocesi di Ventimiglia e dal 1954 alle Suore di San Giuseppe di Aosta.