До строительства Белого дома в 1800 году было несколько президентских особняков, хотя многие из них не сохранились. Остается дом Дешлера-Морриса в Филадельфии, более известный как Белый дом Джермантауна, старейшая сохранившаяся президентская резиденция в Соединенных Штатах.
Особняк был первоначально построен в 1752 году и ненадолго был занят британским генералом Уильямом Хоу, одним из заклятых врагов Джорджа Вашингтона во время американской революции. Когда в 1793 году разразилась эпидемия желтой лихорадки, Вашингтон и его семья (вместе со своими рабами) остались в доме. В то время им владел Исаак Фрэнкс, финансовый брокер и бывший полковник, служивший в армии Вашингтона в качестве сборщика кормов.
Вашингтон снова занял Белый дом в Джермантауне в следующем году для отпуска и четыре раза встречался со своим кабинетом в резиденции. Однако он ушел раньше, чтобы справиться с восстанием виски.
Название дома происходит от имени Дэвида Дешлера, его первого владельца, и Эллистона П. Морриса, последнего владельца, которые подарили его Службе национальных парков в 1948 году. Дом был внесен в Национальный реестр исторических мест в 1972 году..