Il castello che domina la città, sorto forse su un castrum romano a difesa delle invasioni barbariche, fu ricostruito in epoca comunale e rafforzato nel XV secolo, quando racchiudeva 120 case ed una chiesa dedicata a S. Ambrogio.
Dell'imponente costruzione restano le mura, percorse nel perimetro da quattro torri, ed il mastio d'ingresso con i resti di un ponte levatoio. Alla fine dell'800 fu trasformato in caserma, in funzione fino al 1943.
Il recupero delle mura permette la visita del camminamento di ronda e la salita al mastio d'ingresso, dal quale si gode di uno dei più bei panorami sul lago di Garda. Negli ex alloggi degli ufficiali sono state ricavate sale per mostre e convegni.