L’attuale castello fu fatto erigere, sulle fondamenta di un’altro fortilizio risalente a prima del secolo X, dal conte Trussardo Calepio nel 1430 per poter disporre una un efficiente e robusta struttura difensiva nella lotta che vedeva la contrappo­sizione fra Milano e Venezia. Alleato dei Veneziani, il conte Trussardo  ebbe un ruolo di primo piano in uno scontro con le truppe di Niccolò Piccinino, un celebre capitano di ventura, che avanzava con le sue truppe al soldo di Filippo Maria Vi­sconti, verso il Garda. Per la sua comprovata fedeltà, ebbe riconfermata l’investitura feudale da parte dei Veneziani. Nel corso dei secoli il castello, sempre abitato dai Trussardi, subì una parziale trasformazione in palazzo, con la sostituzione del ponte levatoio con uno in muratura e con la trasformazione del mastio in palazzo residenziale.

All’ingresso troviamo una piccola cappella di stile barocco, che, dietro l'altare, conserva le reliquie di San Celestino Martire, cui la cappella è dedicata. In cortile, vi è una statua che  ritrae il conte Trussardo I Calepio, l’artefice del castello, e, storicamente, il  più importante esponente della casata. Sul lato settentrionale del cortile, a destra per chi entra, abbiamo un loggiato del tardo quattrocento, sul lato meridionale vi è l’edificio principale, che presenta una serie di sale elegantemente decorate con modanature del XIX secolo, fra cui la cosiddetta ‘sala delle tappezzerie’ con carte da parati del Settecento dipinte a mano. Notevole il giardino all’italiana che offre una splendida vista sulla valle dell' Oglio. Ai piani inferiori si trovano una sala di fine XVII secolo che presenta un affresco del Carloni e un altro ambiente nel quale sono tornati alla luce frammenti di affreschi risalenti ad una chiesetta romanica inglobata nel castello durante i lavori di ampliamento del Seicento.