I documenti riferiscono dell’esistenza di un castello in questo luogo fin dal secolo X, ma l’attuale castello è molto probabilmente una ricostruzione del precedente fortilizio, attuata dai Visconti quando, nel 1373,entrarono in possesso di Brivio. Fu afforzato durante il periodo sforzesco nel quadro dell’aggiornamento difensivo delle fortificazioni lungo i confini dello Stato Milanese promosso da Gian Galeazzo Sforza. L’ampliamento è opera dell’architetto militare Bartolomeo Gadio. In origine aveva probabilmente una pianta quadrangolare chiusa con alta torre e torri cilindriche angolari.