Fleury nació en Dolores, provincia de Buenos Aires, el 5 de abril de 1903. Provenía de una familia trabajadora; su madre, Juana Peón, planchadora, y Francisco el padre, hombre "de mil oficios" se ganaba la vida como panadero. A los 11 años le brotó la vocación musical; al pasar por la peluquería del pueblo sintió el sonido de una guitarra paisana que se le prendió al recuerdo para toda la vida. Desde ese instante le insistió a su madre para que le comprara una guitarrita. Y ella le dio las primeras lecciones, pasándole los tonos de un estilo y una milonga

Desde ese momento, hasta el fin de sus días las seis cuerdas se convirtieron en una pasión desvelada. Más tarde fue consolidando conocimientos en contacto con músicos populares de Dolores y otros intuitivos que pasaban por allí. Con el tiempo el destacado músico argentino Honorio Sicardi le dio lecciones de armonía. A los 20 años abandonó su pueblo y también se le despertaron las ansias de andar caminos....