Le prime notizie di un insediamento difensivo nell’ attuale posizione di Carimate si hanno nell’anno 1149 (il Castello fu distrutto nella guerra tra Milano e Como).
La costruzione del Castello alla base di quello ora esistente risale al 1345, quando il feudo passò sotto il dominio dei Visconti, signori di Milano. L’edificio fu usato come postazione di villeggiatura e di caccia, ma soprattutto quale fortezza di guardia dell’antica via Regina, strada di comunicazione tra Milano, Como, l’alto Lario e le valli svizzere Ticinesi.