Nascida em Cleveland, Ohio, Virginia Patton foi criada em Portland, Oregon, onde se formou na Jefferson High School em 1942. Seu objetivo no ensino médio era "chegar em Hollywood". Ela se mudou para Los Angeles e frequentou a University of Southern California, onde ela estrelou em uma peça escrita por William C. de Mille. Ela apareceu em vários filmes no início dos anos 1940, antes de conseguir um papel coadjuvante em It's a Wonderful Life (1946), que ela considerou um papel no cinema uma vez na vida.
Ela se aposentou de atuar no final dos anos 1940 para se concentrar em criar uma família com o marido, Cruse W. Moss, em Ann Arbor, Michigan.