Il giardino è attualmente chiuso al pubblico per rifacimento dopo i vari episodi atmosferici che ne hanno compromesso l'accesssibilità e la fruibilità
Il complesso, costituito dalla villa e dall'ampio parco, è situato sulla sommità del colle della Castagnola in un punto che sfrutta il contesto panoramico del lago Maggiore. Esso sorge negli ultimi anni dell'Ottocento per volere dei coniugi Silvio Della Valle di Casanova, poeta e musicista, e Sofia Browne, pittrice di origine irlandese, che vollero creare, nello spazio verde attorno alla loro residenza, un eclettico esempio delle diverse forme artistiche e bellezze della natura: nel parco sono presenti vari stili di giardino (medievale, all'italiana, all'inglese), dove si alternano scalinate, esedre, nicchie, sculture, fontane, parterres. I due artisti prestarono particolare attenzione alla composizione di un insieme che, per i colori e i profumi della vegetazione, potesse suscitare sensazioni ed emozioni: in esso si contrappongono il giardino della letizia a quello della mestizia, affiancati da quelli della memoria, dei sospiri, delle ore, senza dimenticare l'atmosfera raccolta dell'hortus conclusus, dove sorge la chiesetta romanica di San Remigio che dà il nome alla villa. La residenza ha ospitato personaggi famosi come Gabriele D'Annunzio e il pittore futurista Umberto Boccioni, che qui dipinse paesaggi raffiguranti il lago.
