Smith (nascido James Torrey Smith) e sua esposa, Chanel (que cresceu em Conshohocken, PA, e frequentou Plymouth-Whitemarsh HS), têm dois filhos: Torrey Jeremiah (T.J.) e Kameron James. Smith, o mais velho de sete filhos de sua família, formou-se bacharel em criminologia e justiça criminal pela Universidade de Maryland em 2010. Em 2017, Smith, junto com sua esposa, obteve seu MBA da Universidade de Miami. Durante seu tempo em Stafford HS (Falmouth, VA), Smith jogou wide receiver, running back e cornerback e viu ação como um kicker. Smith também jogou basquete no ensino médio.
