Phylicia Rashad nasceu em Houston, Texas, filha de pais afro-americanos Vivian Elizabeth (Ayers), poetisa e diretora de arte, e Andrew Arthur Allen, ortodontista. Quando criança, Phylicia, seu irmão mais velho, Andrew (chamado Tex), e a irmã mais nova, a dançarina e atriz Debbie Allen, viveram no México. Ela tem outro irmão, Hugh Allen (um banqueiro imobiliário na Carolina do Norte). A mãe deles decidiu morar no México para dar aos filhos Allen uma breve experiência de não ter que suportar o racismo crônico e a segregação que eram típicos do Texas durante os anos 1950. Phylicia e Debbie são fluentes em espanhol. Phylicia se formou na Howard University e mais tarde ensinou teatro lá.
Com a irmã mais nova Debbie Allen, ela tem uma produtora, D.A.D., que significa Filhas do Doutor Allen. Sua mãe indicada ao Pulitzer é o espírito artístico e livre que influenciou e encorajou a criatividade notável que marca Rashad como artista.
