Depois de conseguir um lugar para estudar Literatura Inglesa no Trinity College Oxford, Oliver se envolveu ativamente na sociedade dramática da universidade. Ao se formar, recebeu uma bolsa de estudos para treinar na Academia de Música e Arte Dramática de Londres (LAMDA) e estudou lá por dois anos. Ao se formar na LAMDA, Oliver conheceu Gregory Doran - o diretor artístico da Royal Shakespeare Company (RSC) - e foi oferecido o papel-título no "jogo perdido" de Shakespeare Cardenio. Doran dirigiu e Oliver executou o papel ao elogio crítico, cited como um "debut profissional profissional" para Oliver por Mark Shenton que escreve para o palco, notado para "um cardenio sedutor" por Mark Taylor no independente e telegrafado como "um jovem talentoso Homem no caminho para o estrelato futuro "por Simon Tavener no site de teatro de Londres líder WhatsOnStage. Enquanto no RSC, Oliver também trabalhou com aclamado dramaturgo britânico Antony Neilson. Outros papéis do teatro seguiram, including a senhora da cidade no RSC e eu sou uma câmera, para nomear alguns. Mais recentemente, Oliver reuniu-se com Neilson para sua peça original Narrative em uma parte especificamente escrita para Oliver por Neilson e realizada no Royal Court.
