Quando, nel I sec. a. C., le legioni romane occuparono la costa veronese del Benaco, la loro prima preoccupazione fu di fortificare le posizioni strategiche, tra cui Torri, a metà strada sullo rotta lacustre Peschiera-Riva.
Con molte probabilità Torri divenne quindi un castrum, sede di guarnigione, e, grazie ad una strada che scavalcava lo collina di Albisano, fu collegata con l'entroterra. Alcuni fanno risalire al periodo romano l'attuale torre ovest del costello, nettamente distinta dalle altre due quanto a tecnica costruttiva; secondo altri autori, invece, risalirebbe ai primissimi anni del X sec., con lo presenza a Torri di Berengario I, re d'Italia.
Costui, allo scopo di difendere gli abitanti dalle scorrerie degli Ungari, che in quei tempi funestavano la Pianura Padana, fece restaurare il maniero e costruire le mura, resti delle quali sono ancoro visibili tra la strada Gardesana e il centro storico; a Berengario è pure attribuito la torre che porta il suo nome, in piazzo della Chiesa. Il castello fu quindi ristrutturato da Antonio dello Scala, l'ultimo signore scaligero, il quale nel 1383 affidò i lavori a un certo Bonaventura Prendilacqua, come si legge su una lapide murata nel lato ovest dello torre «romana».
Ma le nuove fortificazioni non impedirono che anche Torri fosse investita dalle truppe dei Visconti di Milano, che la espugnarono dopo solo sei giorni di assedio: ormai le artiglierie avevano reso inutili le vecchie mura a cortina.indi, subentrati poco dopo i Veneziani (1405), il castello si avviò verso un lento ma inarrestabile declino, che culminò che culminò nel sec. XVIII con l'abbattimento della cinta muraria più esterna per far posto all'attuale serra di agrumi.

Quando, nell'inverno del 1980, un gruppo di volonterosi diede un'occhiata all'interno dell' area del costello, lo spettacolo che si offrì loro era desolante: macerie dappertutto, infissi cadenti e la limonàra quasi in abbandono.
Da qui partì l'idea di riportarlo o nuova vita, avviando un'opera di pulizia e quindi di restauro, che venne affidato all'architetto Arrigo Rudi. Grazie poi alla collaborazione dell'amministrazione comunale e all'entusiastica partecipazione della popolazione, nel 1983 venne inaugurato il Museo del Castello Scaligero.
La maggiore attrazione è certamente lo serra di agrumi, risalente al 1760 e praticamente l'unica aperta al pubblico su tutto il lago.
Nelle sale sono illustrati aspetti della cultura materiale di Torri e di tutto l'Alto Garda in generale: vi è una sezione dedicata all'olivicoltura con la ricostruzione, con le parti in pietra originali, di un torchio per olive; una è riservata alla pesca, con ben tre sale; un intero piano dell'edificio museale è dedicato alle incisioni rupestri del lago di Garda; in una sala poi possiamo ammirare un pregevole plastico del centro storico di Torri, come doveva presentarsi fino agli inizi del nostro secolo, mentre due grandi mappe settecentesche ne illustrano il territorio; infine, un piccolo orto botanico ospita tutte le principali piante della costa e dell'entroterra gardesano.