Alfonso nasceu no hospital do Condado de General Los Angeles, em 13 de setembro de 1959, filho de Morgan Freeman e Loletha Adkins (Polk) e cresceu em Compton, Califórnia. Ele freqüentou brevemente Cal State University-Long Beach como Art Major. Alfonso não conheceu seu famoso pai pessoalmente até 1984, quando veio para Los Angeles para filmar a minissérie de TV The Atlanta Child Murders (1985). Sua primeira conversa foi durante um telefonema em 1979, enquanto Alfonso trabalhava como operador de telemarketing. Alfonso casou pela primeira vez em 1982 e teve três filhos. Ele e sua primeira esposa, Cynthia, se divorciaram em 1989. Ele se casou novamente em 1994 com Larcenia (pronuncia-se LAR-SEEN-YA) Young.
