Se Francesco III d'Este prese casa in Varese, fu anche per la sua frequentazione dei Menafoglio e della loro residenza, oggi Villa Menafoglio Litta Panza. Il marchese Paolo Antonio Menafoglio, ricco banchiere che vantava possedimenti in Modena e Milano, amico e curatore di alcuni interessi del duca, nel 1748 aveva acquistato sul colle di Biumo Superiore una preesistente "casa da nobile” deciso a realizzare nel vasto parco una villa con giardino. In quella casa il duca di Modena e governatore di Milano, poi signore di Varese, soggiornò più volte, convincendosi della giusta scelta di stabilirsi definitivamente in un luogo che finì per amare sopra ogni altro. Dalle carte dell'archivio di Stato di Modena e dalle cronache dei contemporanei si sa delle sue numerose visite. Proprio nel 1766, ospite dei Menafoglio, il duca trattò l'acquisto della Casa Orrigoni fuori Porta Campagna, rimanendo presso i suoi amici dal 24 al 29 marzo. Appena l'anno precedente, il 13 agosto, era giunto a Varese con largo seguito, ospite della stessa famiglia, per "sollevarsi” dal dolore della perdita della moglie Teresa Castelbarco. Ma la frequentazione risaliva a ben più indietro nel tempo. Nel 1755, registra la cronaca, il duca giunge a Varese verso le due di notte, ospite del marchese Menafoglio, e vi soggiorna quattro dì compiendo piacevoli gite nei dintorni: le mete sono le Isole Borromee, il Deserto di Cuasso, il Sacro Monte.
Sempre in piena notte era arrivato il 21 settembre del 1762 "con quantità di cavalieri e dame alloggiando in casa Menafoglio, di dove il 28 partì con dispiacere di lasciare cotesto luogo”.
E pare che "con le lacrime agli occhi per il dispiacere di dover lasciare questo delizioso paese” ripartì dalla stessa dimora anche il plenipotenziario della Lombardia e gran cancelliere dello stato di Milano, conte Firmian, inviato in quello stesso anno dal 12 al 30 agosto in ricognizione dal duca. Stavano cominciando le trattative segrete per l'infeudamento del borgo, che avvenne effettivamente nel luglio del 1766, quando Francesco III d'Este prese solennemente possesso di Varese.
L'amico Menafoglio, deceduto nel 1769, fece in tempo a salutare nell'amico e ospite assiduo il signore di Varese.