В конце 15 века город Феррара переживал период быстрого роста. Чтобы приспособиться к этому росту, герцог Эрколе д’Эсте решил снести средневековые северные стены, чтобы расширить город. Позже это стало известно как Erculean Addition, популярная форма городского планирования эпохи Возрождения. На пересечении двух главных дорог д’Эсте поручил придворному архитектору Бьяджо Россетти спроектировать новый дворец для дворянской семьи.
Построенный между 1493 и 1503 годами, Палаццо деи Диаманти был заселен семьей Эсте до 1641 года, когда он был продан семье Вилла. Город Феррара купил дворец в 1832 году в качестве нового места для Национальной художественной галереи и Гражданского университета. Дворец сильно пострадал от бомбардировок союзников в 1944 году, а затем снова в 2012 году от землетрясения. Однако в обоих случаях здание было восстановлено. Сегодня здесь по-прежнему находится Национальная художественная галерея Феррары, а также Гражданская галерея современного искусства.
Что делает дворец таким узнаваемым и знаковым, так это дизайн его внешних стен. Внешние стены здания покрыты выступом, состоящим из более чем 8 500 ромбовидных мраморных блоков с розовыми прожилками. Блоки не все одинаковы по разрезу, так как их положение и ориентация меняются в зависимости от их расположения на стене. Это создает уникальный визуальный эффект, предназначенный для максимального отражения света от здания. Кроме того, во дворце есть канделябры и фитоморфные угловые мотивы, а также просторный внутренний двор.