Jemaine Clement nasceu e foi criado em Masterton, na Nova Zelândia, o mais velho dos três irmãos. Sua mãe é maori. Clement foi educado no Makoura College em Masterton, na Nova Zelândia. Ele passou a estudar teatro e cinema na Universidade Victoria de Wellington. Enquanto lá ele conheceu Taika Waititi, e eles formaram trupes de comédia Então você é um homem e as feras dos Humour. Os Humourbeasts se mostraram populares na Nova Zelândia, excursionando extensivamente.
Clement também conheceu Bret McKenzie na Victoria University, e eles formaram a dupla de comédia musical Flight of the Conchords. Flight of the Conchords teve um sucesso internacional considerável, incluindo turnês, programas de rádio e comerciais de TV, culminando na bem recebida série Flight of the Conchords (2007). Clement foi indicado para um Emmy por sua atuação no show.
Seguiram-se papéis no cinema, incluindo Jarrod em Eagle vs Shark (2007) de Taika Waititi, Chevalier em Gentlemen Broncos (2009), Kieran em Dinner for Schmucks (2010) e Boris The Animal na sequência de sucesso Men in Black 3 (2012).
