Questa fastosa dimora fu voluta nel 1586 dal cardinale e segretario di Stato al soglio pontificio Tolomeo Gallio. Investito da pochi anni della contea delle Tre Pievi di Gravedona, Sorico e Dongo, affidò a Pellegrino Tibaldi, architetto del Cardinale Carlo Borromeo, la realizzazione dell’edificio, ma venne completato dopo il 1607, anno della sua morte. Il palazzo andò ai suoi nipoti, duchi d’Alvito, e non ebbe mai vita splendida. Fu utilizzato dai francesi e dagli spagnoli come ospedale, fino a che, agli inizi dell’Ottocento passò per varie proprietà private. Oggi il palazzo appartiene alla Comunità Montana Alto Lario Occidentale.