John Wheeler formou-se na University of the Pacific em Stockton, Califórnia, obtendo um diploma de bacharel em música. Cantor e ator mais conhecido da televisão, ele apareceu em episódios de The Odd Couple, Green Acres, The Brady Bunch e em Star Trek (como o telarita Gav no episódio "Journey to Babel").
Wheeler cantou com o City Centre Opera em Nova York e atuou em Rodgers & Hammerstein's Carousel e Bernstein, Comden e Green's Wonderful Town na Feira Mundial de Bruxelas de 1958, repetindo seu papel neste último trabalho em sua estreia na televisão naquele mesmo ano. Na Broadway, ele apareceu em A garota mais feliz do mundo, Kean, Cafe Crown, I Had a Ball e Sweet Charity (como "Herman", o proprietário do salão de dança, um papel que coube a Stubby Kaye na adaptação para o cinema; Wheeler desempenhou um papel menor no filme). Ele permaneceu ativo na década de 1990.
