Nascido em Portland, Oregon, e educado na Universidade de Washington e na Universidade de Michigan, Colman serviu na Divisão de língua japonesa da U.S. Military Intelligence durante a Segunda Guerra Mundial. Após sua alta, ele começou a atuar no estágio de Nova York. Em 1951, ele dirigiu-se a Hollywood para fazer sua estréia no cinema em 'The Big Sky' (1952). Entre as atribuições de filmes e TV, Colman manteve-se ativo com o trabalho de teatro. Desde 1981, ele interpretou Ebenezer Scrooge mais de 500 vezes no palco do Meadow Brook Theatre em Rochester, Michigan.
