James Leo Herlihy, nascido em Detroit, foi para a Marinha logo depois do colégio em 1945, mas a guerra acabou antes que ele pudesse assistir a qualquer combate. Após sua dispensa, ele frequentou o Black Mountain College da Carolina do Norte - uma instituição pequena e experimental com ênfase em arte, música e literatura e com figuras como Willem de Kooning e John Cage em seu corpo docente - no GI Bill, e foi lá que ele se tornou amigo de autores como Anaïs Nin. Ao deixar a faculdade, ele se mudou para Pasadana, CA, em 1948, onde frequentou o famoso Pasadena Playhouse College pelos próximos dois anos. Ele atuou em cerca de 50 peças em toda a Costa Oeste nos anos seguintes e, eventualmente, mudou-se para Boston, MA, tornando-se membro da Theatre Company of Boston.
Ele escreveu para vários programas de televisão em meados dos anos 50 e, em 1958, sua peça "Blue Denim" teve uma exibição de sucesso na Broadway e foi feita em um filme no ano seguinte (Blue Denim (1959)). Seu romance "All Fall Down" foi transformado em filme em 1962 (All Fall Down (1962)), mas foi somente em 1968 que seu romance mais conhecido - publicado em 1965 - se tornou um dos maiores sucessos do cinema em história - Midnight Cowboy (1969), a história de um jovem e ingênuo texano que chega a Nova York sonhando em se tornar um gigolô para mulheres ricas da sociedade, mas se envolve com um dos habitantes mais asquerosos da Times Square. O polêmico filme - criticado por muitos grupos sociais e religiosos conservadores por retratar o personagem-título como um prostituto masculino - foi o primeiro filme proibido para menores a ganhar um Oscar.
Embora "Midnight Cowboy" selasse sua fama como autor, ele só lançou mais dois livros em sua carreira, uma coleção de contos chamada "Uma história que termina em um grito" em 1967 e um romance sobre adolescentes fugitivos, "The Season of the Witch ", em 1971. Ele se concentrou no ensino, dando aulas de dramaturgia no City College de Nova York, e foi nomeado professor visitante no campus de Fayetteville da University of Arkansas em 1983. Ele também deu aulas de atuação e redação no Colorado College e a University of Southern California.
Ele cometeu suicídio ao tomar uma overdose de pílulas para dormir em sua casa em Los Angeles em 21 de outubro de 1993.
