Joseph Kosma nasceu em Budapeste. Ele se interessou por música desde muito jovem, escrevendo uma ópera chamada "Noel dans les Tranchées" quando era adolescente. Um de seus maiores amores em Budapeste era a música de Bela Bartok. Descobrindo que a atmosfera política era cada vez mais opressiva em Budapeste, Kosma mudou-se para Berlim, onde se juntou à trupe de teatro itinerante de Bertolt Brecht (Kosma era amigo de um amigo da esposa de Brecht). Depois que o fascismo estava claramente em ascensão em Berlim, Kosma rumou para Paris, sem saber uma palavra em francês.
Em Paris, Kosma conheceu Jacques Prévert. A dupla passou a criar cerca de 80 canções, com Kosma musicando os poemas de Prévert (e em alguns casos, o contrário). Prévert apresentou Kosma a Renoir (Prévert escreveu The Crime of Monsieur Lange (1936)), e uma das canções de Kosma acabou no filme. Em seguida, Kosma escreveu a partitura de _Une partie de campagne (1936) _), que não foi lançada até depois da Segunda Guerra Mundial.
Kosma então conheceu Marcel Carné através de Prévert. Kosma passou a trabalhar para Carné através da Ocupação - enquanto se escondia no sul da França, porque era judeu. Enquanto estava na clandestinidade, Kosma acabou escrevendo partituras não creditadas para Les Visiteurs du Soir (1942)) e Children of Paradise (1945)) - embora Kosma na verdade tenha acabado com seu nome nos créditos deste último filme, devido à queda dos nazistas era iminente quando o filme estava quase concluído.
Kosma é talvez mais famoso por sua canção "Les Feuilles Mortes" ("Autumn Leaves"), que foi tocada por muitos músicos de jazz em muitos países diferentes. A peça foi escrita originalmente para uma ópera chamada "Le Rendez-vous", que Prévert e Kosma convenceram Carné a transformar em filme. O filme mudou seu nome para Gates of the Night (1946), após uma letra de Prévert de outra música, para evitar confusão com outro filme que havia sido lançado recentemente. O filme foi o mais caro da indústria francesa (Les Enfants du Paradis foi antes), mas falhou nas bilheterias, embora os críticos elogiassem a música.
Nos anos do pós-guerra, Kosma escreveu várias trilhas sonoras notáveis, particularmente a trilha sonora para o filme assustador e perturbador, Blood of the Beasts (1949). Kosma continuou a trabalhar em trilhas para filmes até sua morte, embora nos últimos anos tenha se concentrado em seu primeiro amor, a música para o teatro, compondo as óperas "Les Hussards" e "Les Canuts". A equipe Kosma / Carné / Prévert gradualmente se separou, e Kosma comenta em seus diários que seus dois velhos amigos não foram a uma de suas estreias de ópera. Kosma continuou a trabalhar para Renoir até o fim, porém, compondo a música para obras posteriores.
