Um nativo de Minnesota, Joel McKinnon Miller teve suas primeiras experiências como ator no ensino médio. Ele então passou a estudar ópera e teatro na Universidade de Minnesota-Duluth. Depois da faculdade, Joel foi convidado para se juntar John Houseman The Acting Company, uma companhia de turismo de teatro clássico com sede em Nova York.
Durante três anos, ele fez uma turnê nos Estados Unidos em peças que incluíam A pele de nossos dentes, Muito barulho por nada, Como você gosta, Uma nova maneira de pagar dívidas antigas e a estréia mundial de Orchards, uma coleção de sete contos de Chekhov Adaptado em peças de um ato de dramaturgos americanos John Guare, Spalding Gray, David Mamet, Michael Weller, Wendy Wasserstein, Samm-Art Williams e a dramaturga cubana Maria Irene Fornes. Após excursionar, continuou a trabalhar off-Broadway no teatro público de Joseph Papp, na companhia clássica da fase, no teatro para uma audiência nova e nos teatros regionais que incluíram a companhia da fase de Hartford e o teatro de Folger Shakespeare em Washington D.C.
Joel mudou-se para Los Angeles em 1991 e fez sua estréia na televisão (o show # 1 rated na época), Murphy Brown. Ele tem inúmeras aparições de televisão e cinema em seu crédito, incluindo - Everybody Loves Raymond, Cold Case, American Horror Story, Workaholics, Bones. Características - O Show de Truman, Sexta-feira Após Depois, The Family Man, bem como Super 8, dirigido por J.J. Abrams.
Em dezembro de 2010, Joel terminou de filmar sua quinta e última temporada na série Big Love da HBO.
Atualmente ele pode ser visto interpretando o papel de detetive "Scully" na comédia de sucesso Brooklyn Nine-Nine.