Gardner é filho de Deane McKay, um executivo de publicidade, e de Catherine. Ele foi criado em Nova York e Paris. Ele frequentou a Universidade Cornell por dois anos, mas saiu quando seu pai morreu. Trabalhou 6 meses com publicidade, mas descobriu que não aguentava. Aos 20 anos, tornou-se escultor e teve uma peça exposta no Museu de Arte Moderna. Em 1959, ele foi flagrado por um produtor de Hollywood que o convenceu a se juntar ao elenco de Adventures in Paradise (1959). Quando acabou, ele decidiu que realmente não gostava dos holofotes das celebridades e começou a vagar pelo mundo. Ele fez caminhadas na Amazônia, andou de camelo no Egito e tripulou em iates caribenhos. Finalmente, em 1980, ele conheceu Madeleine Madigan, que se tornou sua esposa. O solteiro de longa data se estabeleceu e decidiu se tornar um escritor.
