Nació el 9 de marzo de 1894 en Naguabo (Puerto Rico) en el seno de una familia muy humilde y numerosa. Al morir su padre tenía nueve años y tuvo que empezar a trabajar muy joven; a los 16 años realizó un curso especial en la Universidad de Puerto Rico para obtener su título de profesor. Durante cinco años estuvo enseñando y realizó algunos otros trabajos. A continuación ingresó en el ejército de los Estados Unidos, donde estuvo enrolado ocho años.

En 1926 se instaló en Nueva York donde conoció al compositor Rafael Hernández con el que entabló gran amistad. Aunque Flores no disponía de formación musical reglada estuvo colaborando con él y su grupo: el Trío Borinquen. En 1930 formó su propio grupo: Cuarteto Flores, que disponía de ritmos más rápidos y pasó a ser un sexteto y luego una orquesta; sin embargo, tuvo problemas con la discográfica del grupo y decidió abandonarlo. En su grupo participaron músicos como: Pedro Ortiz Dávila, conocido como Davilita y...