Nacido en la ciudad de Río de Janeiro, en una familia pobre, Nelson deja el colegio en la educación primaria para trabajar en una fábrica de tejido.

Desde niño tuvo contacto con la música, pues su padre Brás Antonio da Silva tocaba tuba en el grupo de la Policía Militar de su ciudad y su tío tocaba el violín. Con dieciséis años ya es conocido por tocar el cavaquinho, surgiendo así el apellido que lo acompañaría toda la vida.

En 1930 entra en la Policía Militar como su padre. Trabajando como guardia en la comunidad conocida como Mangueira, que también es una Escuela de Samba, conoce a sambistas como Cartola y Carlos Cachaca y empieza a componer.

Su primera grabación fue la canción Não Faça Vontade a Ela, en 1939, por Alcides Gerardi, pero no tuvo mucha repercusión. Años más tarde fue descubierto por Ciro Monteiro, quien grabó gran parte de su música. Comenzó a hacer presentaciones en público recién en la década de 1960, en Zicartola, bar de Cartola y...