The Music Tapes nació como una forma de salida creativa para un Julian Koster (más tarde miembro de Neutral Milk Hotel) de 16 años, quien creaba cintas de canciones e historias como un medio de escapismo y que compartía con sus amigos, culminando así en The American Phoam Rubber Co. Symphony Orchestra Proudly Presents the 2nd Silly Putty Symphony for Edison Wax Cylander el cual era, esencialmente, un collage de cintas.

En 1989, Koster formó Chocolate USA, una banda de indie pop más convencional que también incluiría a Bill Doss y a Eric Harris, más tarde (junto con Koster, aunque de manera algo extraoficial) miembros de Olivia Tremor Control. La banda lanzó dos álbumes completos, All Jets Are Gonna Fall Today y Smoke Machine antes de separarse en 1994, tras lo cual, Koster decidió centrar sus esfuerzos creativos en the Music Tapes una vez más.

En 1999, Koster lanzó First Imaginary Symphony for Nomad, en el que colaboraron varios músicos, entre los que destacan Robbie...