Depois de ingressar na NBC na década de 1950, Cohen trabalhou no The Tonight Show estrelado por Johnny Carson a partir de 1º de outubro de 1962 - quando Groucho Marx apresentou o novo apresentador do Studio 6B no Rockefeller Center em Nova York - até a última aparição de Carson do Burbank Studios em 22 de maio de 1992. Quando The Tonight Show se mudou para a Califórnia em 1972, Cohen também veio para o oeste e tornou-se diretor de coral da Igreja de St. Mel em Woodland Hills por 20 anos e produziu missas de jazz e concertos anuais.
Duas vezes indicado ao Grammy, Cohen também apareceu como maestro convidado no Los Angeles Pops, no Virginia Pops, no Pasadena Pops e no Brentwood Symphony; fundou a New Horizon Singers, de 80 vozes, e a Pacific Pops Orchestra; e tinha sua própria banda, The Swing Tones.
