Nel 1765, l’antico Palazzo Orrigoni fu scelto come dimora estiva da Francesco III d’Este, duca di Modena e Reggio, amministratore della Lombardia e feudatario di Varese. L’anno successivo, l’ingegnere Giuseppe Bianchi diede il via a un’importate ristrutturazione, che trasformò radicalmente l’edificio e il suo parco, sul modello delle grandi residenze europee. La facciata interna si apre su un ampio asse prospettico che definisce una serie di parterre di gusto francese, sorvola una grande vasca circolare con giochi d’acqua e culmina nel Ninfeo situato sulle pendici della collina. Ai lati, rampe definite da filari di carpini conducono al Belvedere. La parte ovest del parco, mantenuta boscosa con querce, olmi e castagni, ospitava un roccolo per l’uccellagione: Francesco III era un grande appassionato di caccia. Nel 1837 il complesso passò a Carlo Pellegrini Robbioni. Secondo la moda del tempo, una parte del parco venne ridisegnata “all’inglese”, con nuovi scorci selvaggi e percorsi sinuosi. Dove si trovava il teatrino all’aperto del duca venne eretta una torre panoramica in stile neogotico. A ovest dei parterre venne scavato il suggestivo Laghetto dei Cigni. Acquistati dal Comune di Varese nel 1882 ed aperti al pubblico l’anno successivo, i Giardini Estensi furono ampliati dall’annessione del parco di villa Mirabello nel 1948.