Gene Kelly nació en uno de los barrios de trabajadores de Pittsburgh (Pennsylvania), en el seno de una familia obrera. Su padre era vendedor de fonógrafos y su madre, Harriet, fue la encargada de hacer que Gene y su hermano se interesaran por el mundo de la danza.

Fue ella quien propulsó la formación del grupo "The Five Kellys", compuesto por los cinco hermanos.
Tras deshacerse el grupo, él y su hermano Fred continuaron bailando y preparando enérgicas coreografías bajo el nombre de "The Kelly brothers".

Cuando la depresión económica sacudió Estados Unidos, Kelly comenzó a trabajar en diversos oficios, entre ellos dar clases de baile, para ayudar a sacar adelante a su familia.