В 1829 году глава государства Иоаннис Каподистрия сделал Нафплион официальной столицей новой независимой Греции. После убийства Каподистрии в 1831 году во многих частях страны царила анархия. Страны, которые помогали Греции в их борьбе за независимость, Великобритания, Франция и Россия, вмешались и провели серию встреч о том, что будет дальше для страны.
На конференциях, завершившихся Лондонской конвенцией в 1832 году, было создано Королевство Греции с принцем Отто Фридрихом Людвигом, вторым сыном короля Баварии Людвига I, избранным новым королем. Поскольку Людвиг был несовершеннолетним, король назначил Йозефа Людвига графа фон Армансперга регентом Людвига.
Фон Армансперг родился в 1787 году в баварской дворянской семье и был опытным политиком и бюрократом. Когда-то он был комиссаром Баварии в союзной армии во время наполеоновских войн. Он также занимал должности министра внутренних дел и финансов Баварии с 1826 по 1828 год и министра иностранных дел и финансов с 1828 по 1831 год.
Когда фон Армансперг прибыл в Нафплион в 1833 году, чтобы приступить к своим обязанностям, он выбрал в качестве своей резиденции большой особняк османской эпохи в центре города. Особняк был первоначально построен венецианцами во время их второй оккупации, а в 1831 году был отремонтирован, в том числе надстроен второй этаж. Особняк считался не только самым впечатляющим в городе, но и дизайн интерьера и украшения считались одними из лучших в Европе. В особняке проводились многочисленные официальные правительственные и другие торжественные мероприятия, многие из которых сопровождались музыкальным сопровождением на фортепиано, что было редкостью в то время.
В 1835 году Людвиг был признан готовым к власти, и должность регента отпала. Фон Армансперг был награжден назначением архисекретаря, но не очень хорошо воспринял это изменение. В течение следующих нескольких лет он становился все более и более независимым и настолько разрушительным, что в 1837 году король Отто уволил его со своего поста.
Вскоре после увольнения фон Армансперг покинул Нафплион и вернулся в Баварию. После того, как фон Армансперг покинул Нафплион, особняк некоторое время оставался в пользовании правительства, а затем был преобразован в коммерческое здание. Здание использовалось по-разному, в том числе в его нынешнем статусе двух ресторанов, аптеки и разнообразных торговых площадей.