Первоначально построенная как частная резиденция бригадным генералом Робертом Янгом из ополчения Вашингтона, округ Колумбия, собственность была куплена в 1828 году Исааком Франклином и Джоном Армфилдом, когда финансы Янга пошли плохо, и он был вынужден продать.
Двое мужчин превратили дом в тюрьму, добавив пристройку с высокими стенами, внутренними камерами и другими элементами, предназначенными для содержания порабощенных людей. Недвижимость на Дюк-стрит превратилась в крупнейшую торговую фирму порабощенных людей в Соединенных Штатах.
Франклин оставил бизнес в 1835 году, а Армфилд продал его другому работорговцу в 1836 году. Всего за восемь лет Франклин и Армфилд стали двумя самыми богатыми людьми в стране.
Здание продолжало служить штаб-квартирой для нескольких операций по торговле рабами еще более 30 лет, а Price, Birch & Company стала пятым и последним арендатором в 1858 году. В 1861 году фирма бежала на юг. Силы Союза приближаются, оставляя позади только одного старика, прикованного цепью за ногу к середине этажа.
После Гражданской войны тюрьмы были снесены, а здание использовалось для нескольких других целей, прежде чем, наконец, появилась возможность поразмышлять о своем ужасающем прошлом в надежде создать лучшее будущее.