Sandy Baron nasceu Sanford Beresofsky no Brooklyn, Nova York, em 5 de maio de 1936. Criado no bairro de Brownsville, no Brooklyn, o jovem Sandy freqüentou escolas públicas e participava de aulas aceleradas. Graduado pelo Brooklyn College, ele passou seus primeiros anos trabalhando nos verões de Catskill Mountain, que foram o criadouro de muitos comediantes judeus. Baron fez sua estreia na Broadway em "Tchin-Tchin" em 25 de outubro de 1962. Sua próxima peça, "Arturo Ui" de Bertolt Brecht com Christopher Plummer no papel-título, foi um fracasso, durando apenas oito apresentações em novembro de 1963. Sua próxima apresentação no Great White Way, na comédia "Generation", teve mais sucesso, atuando por mais de meio ano na temporada 1965-1966.
Em 1964, Sandy - já um cômico experiente de Catskill e performer de boate - lançou um álbum de 13 faixas pela Roulette Records, "The Race! Race!" A capa do álbum declarou que era um "álbum de comédia divertida sobre ódio, preconceito, intolerância e outras bobagens." Ele estabeleceu uma reputação nacional naquele ano na série de comédia de televisão That Was the Week That Was (1964), a versão americana do programa de TV britânico de sucesso, ambos estrelados por David Frost. Ele seguiu com um papel principal na série de TV Hey, Landlord (1966), interpretando um comediante de stand-up.
Na década de 1970, ele fez aparições regulares no The Mike Douglas Show (1961) e no The Merv Griffin Show (1962). Baron interpretou Lenny Bruce no show "Lenny" no Aquarius Theatre de Hollywood em 1972, e eventualmente substituiu Cliff Gorman em Nova York no que viria a ser sua última aparição na Broadway.
Baron apareceu como ele mesmo em Broadway Danny Rose (1984), de Woody Allen, a homenagem do diretor à comédia de borscht. Na década de 1990, ele apareceu como Jack Klompus, o nêmesis do pai de Jerry Seinfeld na série de TV de sucesso Seinfeld (1989). Ele substituiu Al Lewis como Vovô Munster no filme para TV The Munsters 'Scary Little Christmas (1996). Sua última aparição no cinema foi em The Hi-Lo Country (1998), de Stephen Frears.
Sandy Baron morreu de enfisema em 21 de janeiro de 2001 em uma casa de repouso em Van Nuys, Califórnia. Uma celebração comemorativa foi realizada em 22 de julho de 2001 no Teatro Ivar de Hollywood.
