Nasceu Frankie Robinson em Detroit, o caçula de sete filhos de Clarence e Elizabeth Robinson. Ele foi apelidado de "Sugar Chile" por sua mãe. Embora nenhum dos pais fosse músico, Frankie começou a tocar piano de ouvido aos dois anos de idade. Na idade de três anos, ele ganhou um show de talentos no Paradise Theater, em Detroit. Às seis horas, ele estava tocando com a banda de Lionel Hampton e com a Frankie Carle Orchestra. Em 1946, ele fez uma participação especial no filme "No Leave, No Love", de Van Johnson, apresentando "Caldonia". Em março de 1946, Robinson se apresentou em uma gala em Washington DC para o presidente Truman. Ele jogou quatro números, incluindo "Caldonia", durante o qual ele gritou: "Como eu estou fazendo, senhor presidente?"Isso se tornou um slogan popular. Em 1947, ele foi o tema de um filme de sete minutos intitulado "Frankie 'Sugar Chile' Robinson."Em 1949, Robinson fez suas primeiras gravações para a gravadora Capitol. Seus dois primeiros lançamentos foram "Numbers Boogie", que chegou ao número quatro nas paradas de Billboard R & B, e "Caldonia", que alcançou o número 14. Robinson viajou e gravou até 1952, quando solicitou permissão para retornar à escola. Ele se formou na Northern High School aos 15 anos. Ele passou a freqüentar Olivet College, em Michigan, e se graduou com uma licenciatura em psicologia em 1960.