Эстон Хемингс родился в рабстве 21 мая 1808 года. Его матерью была Салли Хемингс, а отцом, как полагают, был Томас Джефферсон, третий президент Соединенных Штатов.
Хеммингс провел свою молодость в Монтиселло, основной плантации Джефферсона недалеко от Шарлоттсвилля, штат Вирджиния. Мать Эстона была порабощенным человеком смешанной расы, и он вместе со своими братьями и сестрами был белым на 7/8, «юридически» белым в Вирджинии в то время. Хеммингс был обученным плотником, и, поскольку Джефферсон так любил скрипку, его и всех его братьев и сестер учили играть на ней с самого раннего возраста. Когда Джефферсон умер в 1826 году, его воля освободила Хеммингса и его братьев и сестер.
Теперь свободный человек, Хеммингс женился на бывшей порабощенной женщине, Джулии Энн Айзекс, и у них было трое детей. В 1837 году он переехал с семьей в Огайо. Там он стал профессиональным музыкантом, а его дети обучались в интегрированных школах.
Семья уехала в 1852 году из-за Закона о беглых рабах, который оказал давление на общины бывших рабов в свободных штатах, граничащих с рабовладельческими штатами. Хемингс перевез свою семью в Мэдисон, штат Висконсин, и сменил фамилию на Джефферсон. Он умер в 1856 году уважаемым и любимым человеком.