Il Castello è stato costruito nel XIII secolo come struttura militare dalla Signoria di Milano.
Nel secolo successivo la sua funzione è stata modificata, infatti Regina della Scala lo adibì a dimora estiva; suo marito Bernabò Visconti fece costruire finestre a bifora e la torre Mastra nel 1383.
Nel 1452 la proprietà passò a Michele Matteo Bolognini: il Ducato di Milano in quel periodo visse la transizione del potere dalla famiglia Visconti alla famiglia Sforza e fu proprio Francesco Sforza a donare il castello ai Bolognini.
Il castello venne restaurato all'inizio del '900 da Gian Giacomo Morando Bolognini e nel 1933 Lydia Caprara Morando Bolognini (vedova di quest'ultimo) adattò la struttura del castello per ospitare la Fondazione Morando Bolognini e dei musei.