La pittoresca costruzione è un tipico esempio di castello-recinto, costituito da una torre centrale indipendente circondata da una cinta di mura su cui si alzano alcune torri minori. La sua origine non è chiara: alcuni autori la fanno risalire ai Romani che, probabilmente, costruirono una torre per il controllo delle sponde del lago. Certa è la sua esistenza nel Basso Medioevo, periodo in cui l’edificio svolse funzioni non solo di avvistamento e segnalazione, ma anche di rifugio della popolazione di Varenna durante gli assalti dei Comaschi. In seguito il castello divenne proprietà della parrocchia di Varenna, poi dei conti Sfrondati e quindi dei Serbelloni, che la mantennero fino al XIX secolo, quando subentrano gli attuali proprietari, la famiglia Greppi Di Robilant. Dal 1994 l’edificio è gestito dall’Associazione Turistica Castello di Vezio. Al suo interno è possibile ammirare una mostra permanente dedicata al Lariosauro, un rettile di medie dimensioni vissuto in queste zone durante il periodo del Triassico medio (come testimoniano alcuni ritrovamenti a Perledo), e le esibizioni di falconeria realizzate dal centro di cura e addestramento rapaci del Castello.