Oliver nasceu em Tunbridge Wells, Kent, Inglaterra. Depois de estudar lá desde 1997, ele se formou na Escola Central de Fala e Drama em 2000 e logo apareceu na adaptação de grande orçamento da BBC do romance clássico Lorna Doone (2000). Ele seguiu com outro programa da BBC, The Office (2001), onde apareceu como "Ricky Howard" na primeira série. Oliver foi visto mais recentemente estrelando a série de comédia do Channel Four, Green Wing (2004), Nathan Barley (2005) e The IT Crowd (2006). Ele também fez uma aparição no altamente antecipado Sharpe's Challenge (2006).
Oliver mais notavelmente interpretou Nick Medhurst, o ATO da unidade do exército britânico Bluestone 42 (2013) na comédia BBC Three de mesmo nome, Chris interpretou Nick de 2013-15, e apareceu em todas as 3 temporadas. Seguiu suas tentativas de chegar com a base de patrulha padre Mary, ao mesmo tempo mostrando a realidade da luta em uma guerra nestes tempos, enquanto também se divertia e brincava e era camaradagem com sua unidade.
