O conde Charles Spencer nasceu como Charles Edward Maurice Spencer em 20 de maio de 1964 filho do visconde e viscondessa Althorp, John e Frances Spencer. Ele tinha três irmãs mais velhas, Sarah, Jane e Diana, que se tornou a princesa Diana. Ele também tinha um irmão mais velho, John, que morreu poucas horas depois de seu nascimento. Sua madrinha é a ex-sogra de sua irmã Diana, a Rainha Elizabeth II.
Charles passou grande parte de sua infância na casa que seus pais receberam de seus avós maternos no casamento. Chama-se "Park House" e fica perto de uma das casas da Rainha.
Quando ele ainda era relativamente jovem, seus pais se divorciaram amargamente. Sua avó materna deu testemunho contra sua própria filha, de modo que o conde John Spencer 'recebeu a custódia de todos os quatro filhos.
Vários anos depois, Charles seguiu as pegadas de sua irmã e freqüentou internatos, eventualmente matriculando-se na Universidade de Oxford, o tempo todo causando uma impressão de criador do inferno.
Durante esse tempo, ele também ganhou um título. Após a morte de seu avô paterno no final dos anos 1970, ele se tornou Visconde Althorp e seu pai se tornou o Oitavo Conde Spencer. Seu pai se casou novamente, com Raine Legge, filha da autora de romances Dame Barbara Cartland.
No final dos anos 1980, Charles conheceu uma modelo chamada Catherine Victoria Lockwood, conhecida como Victoria. Charles e Victoria se casaram em 16 de agosto de 1989. A união deles estava longe de ser fácil. Pouco depois do casamento, Victoria descobriu que Charles teve um caso com um jornalista. Os dois conseguiram se reconciliar, tendo eventualmente quatro filhos: Lady Kitty Spencer (nascida em 28 de dezembro de 1990); Lady Eliza Victoria Spencer (nascida em 10 de julho de 1992); Lady Katya Amelia Spencer (nascida em 10 de julho de 1992), conhecida como Amelia; e Louis Frederick John Spencer, Visconde Althorp (nascido em 14 de março de 1994), herdeiro do condado. Todos os filhos passaram a ter o direito de ser chamados de Lady ou Visconde em 1992, quando Charles acedeu como 9º Conde Spencer, após a morte de seu pai, Earl John Spencer, 8º Earl Spencer.
Pouco depois da morte de seu pai, a princesa Diana separou-se do príncipe Charles e solicitou o uso de um chalé na propriedade de Althorp. Charles negou o pedido de Diana, precipitando uma separação entre os dois irmãos. Pouco depois, Charles mudou-se com a família para a África do Sul. Na África do Sul, o casamento continuou a se deteriorar, até que Charles e Victoria finalmente se divorciaram em dezembro de 1997.
Pouco antes de seu primeiro divórcio, veio um golpe terrível para a família extensa de Spencer e para a nação: a morte da princesa Diana em agosto de 1997. Após a morte de Diana, Charles voltou à Inglaterra para cuidar de Althorp e passar algum tempo com seus sobrinhos, o Príncipe William e o Príncipe Harry. Nessa época, ele conheceu Caroline Hutton Freud, ex-esposa do bisneto de Sigmund Freud. Eles se casaram em 15 de dezembro de 2001 e junto com seus quatro filhos e seus dois filhos, a família deu as boas-vindas ao nascimento do Honorável Edmund Charles Spencer, nascido em 6 de outubro de 2003.
