Patricia George nasceu como Patricia Fliegelman e era filha de George J. Fliegelman Sr. e Ethel (neé Lewick) Fliegelman. Ela tinha um irmão George J., II, que nasceu em 6 de dezembro de 1936. Seu pai, que jogava basquete no então New York Celtics usando o nome de "Jigs Sullivan", era advogado, mas foi expulso logo depois que ela começou o colegial. Posteriormente, ele e alguns investidores compraram algumas terras e ele sustentou sua esposa, Patricia, e seu irmão George, vendendo-as como lotes de cemitério. Durante sua infância, ela e sua família se mudaram do Brooklyn para a Pensilvânia e em torno de Ohio. Quando ela cresceu, ela se mudou para a Califórnia para perseguir sua paixão, atuar. Ela conheceu Tony Miller, eles se casaram e em 1958 ela se tornou mãe de um filho, Kevin Miller. Sua escolha de nome artístico acabou sendo presciente, porque a partir de hoje, há um sobrinho, George J. III, e o sobrinho-neto, George J. IV
