James Wing Woo nasceu em 26 de setembro de 1922, na propriedade de uma refinaria da Standard Oil em Oleum, Califórnia, ao norte de Oakland. Seu pai tinha um restaurante lá e morava perto com sua esposa e filhos. A família Woo cresceria para um número de oito garotos (James era o segundo).
Antes disso, porém, os Woos se mudaram para a China. Era 1928 e James tinha seis anos. Mas seu pai se envolveu em guerras de tenazes na Bay Area e, como James lembra, tinha "um preço em sua cabeça". Em 1938, James e um irmão se estabeleceram em São Francisco. O jovem de 16 anos, James, frequentou a escola e encontrou trabalho como garçom. Ele também encontrou uso para sua educação em artes marciais.
Em 1961, a Academia de Karate Kung fu abriu em uma grande loja na 5440 Hollywood Boulevard.
Na década de 1970, com Bruce Lee e outros artistas marciais levando kung fu lutando para as telonas, James e seus alunos mais talentosos começaram a chamar a atenção de produtores e diretores de Hollywood. James conseguiu seu primeiro papel em The Killer Elite, de Sam Peckinpah, em 1975, depois de quase ter expulsado o diretor de seu estúdio.
James acabou tocando "Tao Yi", mas observa que ele nunca realmente tocou artes marciais em nenhum dos 15 papéis que ele teve, de Killer Elite a Lethal Weapon 4 (em 1998) a um episódio recente da série de mistério da TV, Monk. . Ele retratou um padre, um líder de clã criminoso, um mestre de artes marciais mais velho e "um homem chinês morto".