Город Сирмионе расположен на узкой полоске земли, простирающейся более чем на две мили в самую южную часть озера Гарда. В конце Средневековья, в период роста коммун в Италии, Сирмионе управляла могущественная семья Делла Скала из Вероны, члены которой были известны как Скалигеры.
Во второй половине 14 века правящая семья приказала построить укрепление на мысе Сирмионе. Замок выполнял оборонительную функцию, но также действовал как небольшой порт, а его доки служили убежищем для Скалигерского и венецианского флотов. Весь замок, даже причал, окружен башнями и бойницами. Структура была увеличена и улучшена в течение следующего столетия, когда территория находилась под управлением Венецианской республики. Замок оставался самым важным укреплением в регионе до 16 века, когда в соседнем Пескьера-дель-Гарда была построена новая крепость.
В последующие века замок использовался как оружейная и военная казарма. После объединения Италии в замке разместились офисы муниципалитета Сирмионе и местный полицейский участок. Он также служил небольшой тюрьмой. Замок был восстановлен после Первой мировой войны и сейчас является музеем.