Nascido em 1919 em Jerusalém, Nehemiah Persoff imigrou com sua família para a América em 1929. Depois de estudar no Instituto Técnico Hebraico de Nova York, ele encontrou um emprego como eletricista de metrô fazendo manutenção de sinais até que o interesse pelo teatro alterou a direção de seu vida.
Ele se juntou a grupos amadores e posteriormente ganhou uma bolsa para o Dramatic Workshop em Nova York. Isso levou ao que teria sido sua estréia na Broadway em uma produção de "Eve of St. Mark", mas ele foi demitido antes da estreia do show. Ele fez sua estreia oficial em Nova York na produção de "The Emperor's New Clothes" em 1940.
A 2ª Guerra Mundial interrompeu sua jovem carreira em 1942, retornando aos palcos após seu contratempo no Exército, três anos depois. Buscou trabalho em peças de teatro e tornou-se estagiário de Stella Adler e, como resultado, um forte expoente do Actor's Studio. Descoberto por Charles Laughton e escalado para sua produção de "Galileu" em 1947, Persoff fez sua estréia no cinema um ano depois com uma participação não creditada em The Naked City (1948).
Baixo, moreno, de estrutura robusta e com um talento distinto para dialetos, Persoff tornou-se conhecido principalmente por sua vilania étnica, geralmente interpretando europeus orientais autoritários. Em uma carreira formidável que o teve retratando de tudo, desde motoristas de táxi a Joseph Stalin, papéis de destaque no cinema incluiriam Leo em The Harder They Fall (1956) com Humphrey Bogart, Gene Conforti em The Wrong Man de Alfred Hitchcock (1956), Albert em This Angry Idade (1957) e gangster Johnny Torrio em Al Capone (1959). Nesse mesmo ano, ele interpretou outro gangster, o pequeno papel de Little Bonaparte, em Some Like It Hot (1959). Ele foi um artista durável durante a "Era de Ouro" da TV (Gunsmoke (1955), The Twilight Zone (1959)) e muito além (Chicago Hope (1994), Law & Order (1990)), interpretando centenas de intensos, voláteis e dominantes personagens.
Nos anos posteriores, seus personagens ficaram um pouco mais suaves, conforme atestam o pai judeu de Barbra Streisand em Yentl (1983) e a voz de Papa Mousekewitz em An American Tail (1986). O trabalho de palco posterior incluiu produções bem recebidas de "I'm Not Rappaport" e seu show biográfico individual "Sholem Aleichem".
Depois de o declínio da saúde e a pressão alta o obrigarem a desacelerar, Persoff começou a pintar em 1985, estudando desenho em Los Angeles. Especializado em aquarela, ele criou cerca de 100 obras de arte, muitas das quais foram exibidas ao longo da costa da Califórnia. Ele comemorou seu 100º aniversário em 2019.