La villa, situata sulla strada litoranea che conduce da Pallanza a Intra, è stata costruita nel 1895 da William B. Kaupe, facoltoso cittadino americano di origine tedesca, viaggiatore e amante delle arti. L'intero complesso è particolarmente interessante per lo stile eclettico che lo contraddistingue: un esempio significativo di questo gusto è la terrazza antistante la villa rivolta verso il lago, con pavimento in ciottoli di diversi colori e delimitata da un ninfeo. Il giardino, organizzato su un pendio molto scosceso, è il frutto di un riuscito connubio di architetture e piante lussureggianti: rose rampicanti, palme, tuje, rododendri, azalee, magnolie, esemplari di canfora, faggi rossi, conifere, oleandri e limoni, che si affiancano a statue del XVII secolo, fregi, parapetti in pietra e ferro battuto. Il giardino è completato da una grande darsena, progettata dallo steso Kaupe nel 1899, e da due porticcioli. L'Eremitaggio, di proprietà privata, è visitabile solo in occasione di eventi particolari.
