Bajo la mirada atenta de su padre, Larry Young se dedicó desde niño al aprendizaje del órgano, instrumento que su progenitor tocaba en una iglesia baptista de Newwark. Al mismo tiempo una profesora le enseñaba piano. Su aparición en la escena jazzistica no se produjo hasta 1957 y sus comienzos fueron alrededor de grupos procedentes del Rhythm and Blues a principios de los años sesenta. En 1964 tuvo la oportunidad de realizar una gira por Europa deteniéndose durante dos meses en Paris y uno en Alemania donde grabó junto a Nathan Davis para el sello Saba.

En 1965 su carrera dio un avance espectacular cuando recomendado por el maestro Jimmie Smith, grabó para Blue Note, el disco "Into Something!" que le ayudó a darse a conocer en el entorno de los músicos de jazz. Su carrera discográfica comenzó años atrás cuando en 1960 grabó dos álbumes para el sello New Jazz: "Testifying" y "Young Blues". En 1962 grabó para Prestige, el álbum "Groove Street" y a partir de 1964...