Howard E. Rollins Jr. nasceu em Baltimore, Maryland em 1950. Ele era o caçula de quatro filhos de Howard E. Rollins Sênior (metalúrgico) e Ruth R. Rollins (empregada doméstica). Rollins se formou na Towson State College, onde estudou teatro. Sua primeira oportunidade como ator veio quando um amigo o convenceu a tentar um papel em "Of Mice and Men" em um teatro local de Baltimore. Ele se surpreendeu com seu talento para atuar.
Ele partiu para Nova York em 1974 para continuar sua carreira de ator. Rollins recebeu uma indicação ao Oscar pelo papel de Coalhouse Walker Jr. em Ragtime (1981) e uma indicação ao Emmy de Melhor Ator Coadjuvante no drama diurno da NBC Another World (1964). Ele também é conhecido por sua brilhante interpretação de Virgil Tibbs na longa série de TV de sucesso In the Heat of the Night (1988), baseada no filme de 1967 de mesmo nome. Em 1995, fez sua última aparição no longa-metragem em Drunks (1995).
Rollins foi diagnosticado com linfoma no final de 1996. Seis semanas depois, ele morreu de complicações da doença aos 46 anos.
