Il Museo ha sede, dagli anni '30 del 1900, nel Palazzo Affaitati, antica residenza di una casata con importanti legami commerciali europei.
L’architettura d’impianto cinquecentesco è stata successivamente integrata da importanti interventi nel Settecento e da un notevole ampliamento nell’Ottocento, quando l’edificio era stato adibito ad Ospedale.
Nonostante sia poco conosciuto merita una visita già solo per la presenza di due quadri di due gradissimi pittori: il San Francesco di Caravaggio e l'Ortolano di Arcimboldo.
Il museo però non si limita a questi due capolavori, possiede infatti opere del Nuvolone, una sezione di arte moderna è una vasta collezione di violini, chitarre e altri strumenti musicali; tutto questo all'interno delle sale di questo pregevole palazzo storico.
La Pinacoteca è il fiore all'occhiello del Museo.
Contiene quadri della scuola pittorica cremonese del 500 tra cui ricordiamo la famiglia Campi e le sorelle Anguissola.. Raccoglie i quadri del complesso moasteriale di San Domenico raso al suolo ai primi del 900 dove era ubicata la tomba del liutaio Antonio Stradivari.