Nascido em Newport News, VA, em 1916, Tiny Grimes era um guitarrista versátil na década de 1940 e início dos anos 1950, e jogou como parte do trio Art Tatum. Ele podia tocar guitarra de quatro e seis cordas, embora ele tivesse originalmente começado como pianista e baterista, mudando para guitarra em meados dos anos 30. Ele tocou em uma sucessão de grupos de jazz e trios na década de 1940, formando o Tiny Grimes Quartet em 1944 (um de seus membros era Charles Parker).
Foi para o seu grupo de R & B The Rockin 'Highlanders - que muitas vezes usavam kilts durante suas performances - que Grimes tornou-se mais conhecido por, no entanto, Eles foram um dos primeiros atos assinados para a Atlantic Records em 1947. Em 1952 Grimes contratou Screamin 'Jay Hawkins como seu pianista e vocalista principal. Hawkins ficou com o grupo por um ano antes de sair sozinho.
Grimes e sua banda fizeram turnês durante toda a década de 1950. Nos 1970s disbanded o grupo e foi para trás a uma carreira solo, embora jogasse com artistas de jazz notáveis como Roy Eldridge e Lloyd Glenn. Ele ficou muito bem na cena do clube de Nova York, ocasionalmente lançando álbuns em rótulos menores como Muse e Sonet.
Ele morreu em Nova York em 1989.
