Irene James nasceu em Detroit, Michigan. A mais velha das três filhas de imigrantes gregos. A família mudou-se para Santa Monica, Califórnia em 1942, onde o pai de Irene possuía e dirigia o The Brenshire, um motel em Wilshire Boulevard. Ela se formou em 1944 na University High School em Westwood. Depois de oito anos trabalhando em Hollywood como dublê e figurante, ela se mudou para Palm Springs em 1962, onde possuía e administrava um bar e restaurante chamado IJ's na propriedade do renomado Hotel El Mirador. O clube, que era frequentado por muitas celebridades, fechou quatro anos depois. Ela atualmente reside em Palm Springs, CA.
