Jerry O'Connell nasceu na cidade de Nova York, filho de Linda (Witkowski), uma professora de arte, e Michael O'Connell, um diretor de arte de uma agência de publicidade nascido no Reino Unido. Ele passou seus primeiros anos em Manhattan, com seus pais e irmão mais novo, Charlie O'Connell, que também é ator. Ele é descendente de meio irlandês, um quarto italiano e um quarto polonês. Jerry começou sua carreira de ator muito jovem. Ele fez trabalhos comerciais e de TV antes de conseguir o papel de "Vern Tessio" no popular filme Stand By Me (1986), contracenando com River Phoenix e Corey Feldman. Depois disso, ele trabalhou em vários filmes e séries de TV e teve um papel de protagonista em My Secret Identity (1988). De 1991 a 1994, Jerry frequentou a New York University, onde se formou em cinema, mas não se formou.
Em 1993, ele estrelou o filme Calendar Girl (1993), ao lado de Jason Priestley. Em 1995, ele estrelou o faroeste para TV The Ranger, the Cook and a Hole in the Sky (1995) e, em 1996, ele conseguiu o papel de "Frank Cushman" no filme de sucesso Jerry Maguire (1996), contracenando com Tom Cruzeiro. Ao longo dos anos seguintes, ele estrelou em Pânico 2 (1997), teve um pequeno papel não creditado em Can't Hardly Wait (1998), bem como apareceu em vários filmes de TV e estrelou na série de TV Sliders ( 1995) e o filme Body Shots (1999), contracenando com Sean Patrick Flanery e Tara Reid.
Em 2000, apareceu no filme de Brian De Palma Mission to Mars (2000) com Gary Sinise, entre outros. Ele também apareceu em filmes como Tomcats (2001), Buying the Cow (2002), Kangaroo Jack (2003), Yours, Mine & Ours (2005), Man About Town (2006) e Room 6 (2006). Em 2007, ele se casou com a atriz / modelo Rebecca Romijn, e eles têm meninas gêmeas.