Já que o pai de David McCallum, David McCallum Sr., foi o primeiro violinista da Filarmônica de Londres e sua mãe, Dorothy Dorman, violoncelista, não é de se surpreender que David estava originalmente indo para uma carreira na música, tocando oboé. Ele estudou brevemente na Royal Academy of Music. Ele deixou isso, no entanto, para a Royal Academy of Dramatic Art. Ele fez quase uma dúzia de filmes no Reino Unido antes de seu trabalho aclamado pela crítica como o tenente Wyatt em Billy Budd (1962).
Para a geração mais velha, ele talvez seja mais conhecido por sua interpretação da U.N.C.L.E. agente Illya Kuryakin na série de TV de sucesso The Man from U.N.C.L.E. (1964). Para o público mais jovem, ele é mais conhecido por sua interpretação superlativa do Dr. Donald "Duckie" Mallard na série de sucesso da CBS, NCIS (2003). McCallum foi casado pela primeira vez com a atriz Jill Ireland, que conheceu em 28 de março de 1957 durante as filmagens de Hell Drivers (1957). Em 1963, ele apresentou a Irlanda a Charles Bronson, quando ambos estavam filmando The Great Escape (1963). Posteriormente, ela deixou McCallum e se casou com Bronson em 1968. McCallum e a Irlanda tiveram três filhos: Paul, Jason (um filho adotivo que morreu de overdose acidental de drogas em 1989) e Val (abreviação de Valentine).
Ele é casado com Katherine Carpenter desde 1967. Eles têm um filho, Peter, e uma filha, Sophie. McCallum e sua esposa são ativos em organizações de caridade que apóiam o Corpo de Fuzileiros Navais dos Estados Unidos: o pai de Katherine era um fuzileiro naval que serviu na Batalha de Iwo Jima, e seu irmão perdeu a vida na Guerra do Vietnã. McCallum tem seis netos.