Carroll nasceu em Manhattan e cresceu em Forest Hills, uma comunidade fortemente judaica no bairro de Queens, em Nova York. Depois de se formar no ensino médio em 1942, O'Connor se juntou aos Merchant Marines e trabalhou em navios no Atlântico. Em 1946, ele se matriculou na Universidade de Montana para estudar inglês. Enquanto estava lá, ele se interessou por teatro. Durante uma das produções amadoras, conheceu sua futura esposa, Nancy Fields, com quem se casou em 1951. Ele se mudou para a Irlanda, onde continuou seus estudos teatrais na Universidade Nacional da Irlanda. Ele foi descoberto durante uma de suas produções da faculdade e foi assinado para aparecer no Dublin Gate Theatre. Ele trabalhou no teatro na Europa até 1954, quando retornou a Nova York. Suas tentativas de desembarcar na Broadway falharam e ele ensinou o ensino médio até 1958. Finalmente, em 1958, ele conseguiu uma produção off-Broadway, "Ulysses In Nighttown". Ele seguiu isso com uma produção da Broadway dirigida por "Burgess Meredith", "God and Kate Murphy", na qual ele era tanto um substituto quanto um assistente de direção. Ao mesmo tempo, ele estava recebendo atenção na TV. Ele trabalhou em muitos papéis de personagens ao longo dos anos 1960. Um piloto de "Those Were The Days" foi filmado pela primeira vez em 1968 com base no sucesso inglês, "Till Death Do Us Part", mas foi rejeitado pelas redes. Em 1971, foi re-filmado e re-lançado como All in the Family (1971) e o resto é história.
