McCoy nacío en Washington, D.C. y creció allí. Cantaba con el coro de la iglesia metropolitana bautista y escribía sus propias canciones que intrepretaba en concursos para aficionados con su hermano mayor Norman a la edad de 12 años. Posteriormente los dos formaron un grupo de doo-wop llamado the Starlighters junto a otros dos amigos del colegio e incluso lanzaron un sencillo llamado The Birdland en 1956, lo que les atrajo la atención suficiente para salir de gira. El grupo The Starlighters posteriormente se separó cuando los integrantes del grupo empezaron a buscar otras opciones profesionales.

McCoy entró a la Universidad Howard para estudiar sicología, pero dos años después se retiró y se fue a Filadelfia en donde creó su propio sello llamado Rockin' Records y lanzó su primer sencillo llamado Hey Mr. DJ en 1959. Con esta canción llamó la atención de Florence Greenberg propietario de Scepter Records quien contrató a McCoy como escritor y representante. Allí McCoy...