James viveu seus primeiros anos em Cambridge, Massachusetts, em seguida, sua família mudou-se para Wilmington, Ma., Onde se destacou em Esportes no ensino médio. De volta a Boston, ele participou de uma aula de teatro no teatro de fantoches de Jennie Lielheim, em Brighton, Massachusetts, nos arredores de Boston. Então comprou uma casa no lago Toho em Kissimee, Florida, quando a universidade se abriu primeiramente. Depois de vários anos lá, ele percebeu que se ele queria levar sua carreira de ator a sério, ele precisava se mudar para Hollywood. O que ele fez, e por meio de um amigo se matriculou no William Alderson Studio, e estudou com Bill, diretor do Neighborhood Playhouse em Nova York, por 20 anos.
