Urkunden verweisen auf die Existenz einer Burg an diesem Ort seit dem 10. Jahrhundert, aber die heutige Burg ist höchstwahrscheinlich ein Umbau der früheren Festung, der von der Familie Visconti durchgeführt wurde, als sie im Jahr 1373 Brivio in Besitz nahm. Sie wurde während der Epoche der Sforza im Rahmen des von Gian Galeazzo Sforza geförderten Ausbaus der Festungen an den Grenzen des Staates Mailand verstärkt. Die Erweiterung ist das Werk des Militärarchitekten Bartolomeo Gadio. Ursprünglich hatte sie wahrscheinlich einen viereckigen Grundriss mit einem hohen Turm und zylindrischen Ecktürmen.