Nació en Moss Side, Manchester, el 11 de junio de 1958. De niño compone su primera canción, "Brain Pain" . En sus primeros años se influenció por la música de Motown, el jazz, el glam rock de David Bowie, Roxy Music y Alice Cooper, y Led Zeppelin. Siendo estudiante de diseño arquitectónico, se interesa en la ola de punk rock, aprende por sí mismo a tocar el bajo y a finales de 1977 responde a un anuncio hecho por Howard Devoto para formar una banda, Magazine. Durante sus años con la banda graba cinco álbumes y sería, junto con Devoto, su miembro permanente de inicio a fin; y también colaboraría en algunos conciertos de Buzzcocks, en el cual fue considerado como miembro temporal en reemplazo de Steve Garvey, y Ludus.

Separado Magazine, se va a Londres, donde conoce a Nick Cave, un australiano que había formado parte del célebre grupo The Birthday Party, con quien forma Nick Cave and the Bad Seeds. Permanece ahí hasta 1986, cuando se aleja de Cave e inicia una carrera...