Cary Elwes nasceu em Westminster, Londres, Inglaterra, o terceiro filho da designer de interiores / herdeira Tessa Georgina Kennedy e da falecida pintora de retratos Bede Evelyn Dominick Elwes. Ele é irmão do produtor / agente Cassian Elwes e do artista Damian Elwes. Ele foi criado em Londres e frequentou Harrow. Depois de se formar na Harrow, ele se mudou para os EUA e estudou teatro no Sarah Lawrence College. Ele deixou a escola depois de dois anos para começar sua carreira no cinema. Cary é muito respeitado por colegas e fãs e considerado por muitos como um dos melhores atores que trabalham atualmente. Ele está interessado em história e diz: "É deliberado que muitos dos meus filmes foram peças de época". Ele é politicamente ativo por causas em que acredita, como proteger o meio ambiente e ajudar os nativos americanos.
Elwes é casado com Lisa Marie Kurbikoff, uma fotógrafa de fotos. Ele vem de uma família inglesa recusante há muito estabelecida, por parte de pai. Vários clérigos católicos importantes estão entre seus parentes, incluindo o pe. Luke Cary-Elwes, Dom Columba Cary-Elwes e Dom Cuthbert Cary-Elwes. Seu avô foi pintor da sociedade e artista de guerra Simon Elwes. Cary (o sobrenome "Cary-Elwes" foi abreviado para "Elwes" em alguns ramos da família) era um menino de altar no oratório de Brompton, em Londres, embora não frequentasse uma escola católica. De sua avó materna, Daska Marija Ivanovic-Banac, que nasceu em Osijek no Império Austra-Húngaro (agora na Croácia), ele tem ascendência judaica e sérvia croata. A outra linhagem de Cary é inglesa, irlandesa e escocesa.