Nascido em Chicago em 1926, Richardson treinou para o palco do Goodman Theatre de lá. Depois de servir no Army Air Corps durante a Segunda Guerra Mundial, mudou-se para Nova York e trabalhou em produções off-Broadway. Na década de 1950, ele trabalhou em programas de teatro de televisão. Nos anos 60, mudou-se para Minneapolis, onde foi um dos fundadores do Guthrie Theatre. Além de ser um ator popular, ele também era uma voz popular para comerciais de televisão e tinha mais de 100 anúncios em seu crédito.
