Ivy Nicholson nasceu Irene Nicholson em Queens, Nova York, filha de pais católicos irlandeses da classe trabalhadora.Ela começou a modelar aos 16 anos e fez muito sucesso, estampando as capas da Vogue e da Elle.Naquela época, não havia muito trabalho para modelos mais antigas, então, quando ela completou 30 anos, Ivy procurou papéis de atriz, acabando por aterrissar na Fábrica de Andy Warhol.Lá ela apareceu em papéis menores em alguns filmes de Warhol, e conheceu e se casou com o diretor de Ciao Manhattan (1972), John Palmer, que trabalhava como camera man na Factory.Em 1970, Ivy mudou-se para Paris, onde pintou e orientou a carreira de seus filhos.Ivy tem quatro filhos.Seu filho mais velho, Darius DePoleon, é visconde e músico em Paris.Ele está em uma banda chamada "Eurotrash" com outros membros da realeza europeus.Seu segundo filho, Sean Bolger, é fotógrafo de moda em Los Angeles.Sua filha com John Palmer, Penelope Palmer, era uma atriz infantil e estrelou Le Femme Enfant ao lado de Klaus Kinski.O irmão gêmeo de Penelope, Gunther Palmer, era uma modelo infantil em Paris e é baterista e vocalista na banda Stagefright.
