В 1772 году Джефферсон женился на своей троюродной сестре Марте Вейлс Скелтон. Она родила ему шестерых детей, но умерла в 1782 году. После её смерти Джефферсон больше не женился.
Во время пребывания во Франции у него были отношения с замужней женщиной Марией Косвей, которые позже переросли в дружескую переписку. Также у него была связь с рабыней Салли Хемингс, которая, по данным ДНК-исследований, была матерью одного из его детей.