Filho do famoso pintor impressionista Pierre Auguste, teve uma infância feliz. Pierre Renoir era seu irmão e Claude Renoir era seu sobrinho. Após o final da Primeira Guerra Mundial, onde ganhou a Croix de Guerre, ele passou de roteiro para cinema. Ele se casou com Catherine Hessling, para quem ele começou a fazer filmes; ele queria fazer uma estrela dela. Eles se separaram em 1930, embora ele permanecesse casado com ela até 1943. Seu próximo parceiro era Marguerite Renoir, com quem ele nunca se casou, embora ela tenha tomado o nome dele. Ele deixou a França em 1941 durante a invasão alemã da França durante a Segunda Guerra Mundial e tornou-se cidadão americano naturalizado.
