James Joseph Sloyan nasceu em 24 de fevereiro de 1940, em Indianapolis, Indiana; sua família se mudou para a Europa, quando ele era um menino. James viveu em Roma, Capri, Milão, Suíça e Irlanda. Quando ele tinha 17 anos, sua família se mudou de volta para os Estados Unidos e se estabeleceram em Nova York, onde ele conseguiu um teatro. Ele recebeu uma bolsa de estudos para a Academia Americana de Artes Dramáticas e depois de dois anos, ele foi trabalhar para Joseph Papp no New York Shakespeare Festival. Em 1962, James foi convocado para o Exército dos Estados Unidos; depois de quatro anos ele voltou para o NYSF e realizado em 28 peças e coreografou todas as lutas no palco. James também fez o original off-Broadway "Voando sobre um Ninho de Cucos".