Nascido em Seattle, Washington, em 1922, como Solomon Krakovsky, filho de imigrantes judeus russos, Hill começou a se interessar por teatro desde criança. Depois de se formar no ensino médio, serviu na Reserva Naval (1940-44). A partir daí, ele trabalhou ao lado de uma jovem estrela desconhecida Marlon Brando em "A Flag is Born". Sua verdadeira estreia como ator aconteceu em 1950, quando co-estrelou ao lado de Hedy Lamarr em A Lady Without Passport (1950), e sua carreira decolou a partir daí.
Pelo resto dos anos 1950 e 1960, ele co-estrelou filmes B como: The Goddess (1958), Kiss Her Goodbye (1959), A Child Is Waiting (1963), The Slender Thread (1965). Hill também se tornou um ator principal, estrelando uma grande variedade de programas como: Schlitz Playhouse (1951), Danger (1950), Playwrights '56 (1955), Studio One in Hollywood (1948), Playhouse 90 (1956) , Naked City (1958), Espionage (1963), Dr. Kildare (1961), Ben Casey (1961), entre muitos outros. Outro papel de ator convidado em Rawhide (1959), o levou a estrelar em Mission: Impossible (1966). Embora a série tenha durado sete temporadas, Hill não ficou satisfeito com seu papel porque se recusou a cumprir o cronograma de produção que exigia trabalhar no sábado, o sábado judaico, sendo um judeu ortodoxo. Hill foi demitido após 1 temporada e foi substituído na série por Peter Graves. Após sua demissão, ele tirou uma licença sabática da atuação, para se concentrar na venda de casas no mercado imobiliário, daí se mudou para Nova York.
Após uma longa ausência da atuação, voltou à telinha com a minissérie de TV King (1978). A década de 1980 viu Hill retornar às bilheterias, co-estrelando filmes de sucesso como: It's My Turn (1980), ao lado de Jill Clayburgh e Michael Douglas, Eyewitness (1981), Yentl (1983), Garbo Talks (1984), contracenando com Anne Bancroft e Carrie Fisher, On Valentine's Day (1986), e sua sequência, Courtship (1987), ele interpretou um Mafia Don em outro filme de grande sucesso de Arnold Schwarzenegger, Raw Deal (1986), então, em um filme de sucesso dez Running on Empty (1988), seguido por The Boost (1988), White Palace (1990) e um dos últimos filmes, Billy Bathgate (1991).
Na década de 1990, aos 68, após 23 anos de ausência da telinha, reestabeleceu a carreira, como substituto de última hora para protagonista em Law & Order (1990), onde desempenhou o papel de um pragmático Distrito Advogado, Adam Schiff, um personagem que todos aprenderam a amar. Apesar de não ter aparecido no episódio piloto da série, ele rapidamente se tornou uma das estrelas simpáticas e lucrativas de Hollywood, onde muitas vezes tinha cenas, que eram filmadas, apenas no tribunal. Seus co-estrelas no programa consistiam em atores que também fizeram nomes lucrativos como o próprio Hill, como Chris Noth, ex-ex-aluno do Pee-wee's Playhouse (1986), S. Epatha Merkerson, Sam Waterston e os recém-chegados Jill Hennessy e Benjamin Bratt. Em Law & Order (1990), ele também foi indicado ao Emmies duas vezes, mas não ganhou. Todo o elenco ficou chocado quando, em 2000, ele deixou seu papel para aproveitar sua aposentadoria. Antes disso, todo o elenco apareceu com Hill em Larry King Live (1985), para se despedir de uma estrela lendária.
