Começou sua carreira musical aos 11 anos tocando tambor com o Square Deal Social & Pleasure Club. Ele era o baterista, vocalista e assistente do Treme Brass Band; conhecido por seu kazoo tocando e cantando também, e gravou um cd como vocalista. Além de inspirar músicos mais jovens com suas interpretações, ele serviu de modelo para muitos deles: o trompetista Kermit Ruffins chama Batiste de sua "influência total", dizendo que Batiste "ensinou-lhe como agir, como se vestir, como se sentir vida." Internacionalmente, Batiste atuou como líder do desfile diário do Moldejazz desde 2000. Ele foi o rei da Krewe du Vieux em 2003.
