Thomas Mark Harmon nasceu em 2 de setembro de 1951, em Burbank, Califórnia, para o jogador de futebol e radialista Tom Harmon e para a atriz e artista Elyse Knox (nascida Kornbrath). Harmon jogou futebol universitário e encontrou o sucesso como um dos atores mais espertos da TV. Embora muitos de seus papéis tenham confiado na boa aparência, Harmon impressionou em St. Elsewhere (1982) como o gentil médico que contraíra a AIDS.
Suas irmãs são Kelly Harmon, o modelo Tic Tac; e Kristin Harmon, pintora e ex-esposa do músico Ricky Nelson. Ele é o tio dos músicos Matthew Nelson e Gunnar Nelson da banda Nelson e da atriz Tracy Nelson. Em 1987, Harmon e sua esposa, a atriz Pam Dawber, processaram sua irmã Kristin Harmon, pela custódia de seu filho mais novo, Sam.
