Cap'n Jazz se formó en Chicago, USA en 1989 por los hermanos Tim y Mike Kinsella, a los que luego se les sumaron Sam Zurick y Victor Villareal. Luego de varios cambios de nombre y la adición del guitarrista Davey von Bohlen la banda comenzó a generar casi una especie de culto en las bares de Chicago y el Medio Oeste.

La banda grabó numerosos singles para sellos independientes al comienzo de los 90s, y participó en varias compilaciones. En 1995 lanzan su único disco: Burritos, Inspiration Point, Fork Balloon Sports, Cards in the Spokes, Automatic Biographies, Kites, Kung Fu, Trophies, Banana Peels We've Slipped on and Egg Shells We've Tippy Toed Over - mejor conocido como Shmap'n Shmazz - en el pequeño sello Man with Gun. Debido a las pocas ediciones del mismo, el disco rapidamente se convirtió en un objeto de colección.

La banda se separó en Julio de 1995, poco tiempo luego del lanzamiento de Shmap'n Shmazz, en la noche de un show en Little Rock's Das Yutes a Go-Go. En...