Nascido em Los Angeles, mas criado em Manhattan e educado no Middlebury College e na Universidade Carnegie-Mellon, James Cromwell é filho do diretor de cinema John Cromwell e da atriz Kay Johnson. Ele estudou atuação na Carnegie-Mellon e foi ao teatro (como seus pais) fazendo de tudo, de Shakespeare a peças experimentais. Ele começou a aparecer na televisão em 1974, ganhando notoriedade em um papel recorrente como Stretch Cunningham, amigo de Archie Bunker em All in the Family (1971), fez sua estréia no cinema em 1976 e volta ao palco periodicamente. Alguns de seus papéis em filmes mais notáveis foram Revenge of the Nerds (1984), Star Trek: Primeiro Contato (1996) e o clássico surpresa sobre um porco encantador, Babe (1995). Ele recebeu algumas das melhores críticas de sua carreira (muitas das quais disseram que ele deveria ter recebido um Oscar) por seu papel como capitão de polícia corrupto e conivente em L.A. Confidential (1997).
