James Gregory, nascido em Nova York, desistiu da carreira de corretor da bolsa em vez de ator e começou nos palcos da Broadway. Ele fez sua estréia no cinema em 1948. Gregory se especializou em interpretar policiais ou empresários barulhentos, impetuosos e durões. Um de seus melhores papéis foi como o detetive em busca de Capone em Al Capone (1959). Ele também interpretou o chefe de Dean Martin em três dos quatro filmes de espionagem "Matt Helm". Memorável como o teimoso e tagarela Inspetor Luger na série de televisão Barney Miller (1975).
