Après 48 matchs en première division française et 18 de Serie A, Silvestre décide de se remettre en question et de viser encore plus haut. Après deux ans et demi dans les équipes de jeunes, il fait ses débuts en équipe première en mars 1996. La saison suivante, il se fait petit à petit une place chez les pros, puis est titulaire sur le côté gauche de la défense durant toute la saison 1997-1998. Pourtant, comme le milieu de terrain Ousmane Dabo qui s’affirme en même temps que lui, Silvestre reste sous contrat stagiaire. Liverpool et Gérard Houllier se manifestent avec la promesse d’une place de titulaire sur le côté gauche. Il défraie la chronique en quittant très jeune le Stade rennais, son club formateur, pour l’Inter Milan, sans indemnité, en compagnie de son camarade de promotion Ousmane Dabo. Il commence son parcours à l’Union sportive de Saint-Pierre-des-Corps, avant de rejoindre le centre de formation du Stade rennais. Son père, Franck, originaire de Guadeloupe, est footballeur amateur en Indre-et-Loire.