Nascido em Schoten, Antuérpia, filho de um famoso político belga e de um cantor belga-austríaco ainda mais famoso, Serge estava predestinado a uma carreira na vida pública. Aos dezenove anos, Serge mudou-se para morar com sua tia (irmã de sua mãe), que era cantora-atriz em Viena, Áustria. Quando seu passaporte belga expirou, Serge pediu uma renovação, que não seria concedida antes de ele completar seu serviço militar. Ele solicitou um passaporte austríaco, que foi concedido depois que ele completou seu serviço no exército austríaco. Ele rapidamente encontrou trabalho como ator e estrelou principalmente em produções alemãs / austríacas, a mais famosa sendo Medicopter 117.