Formada en 1995, la agrupación ha versionado a artistas de la talla de Neil Diamond, Billy Joel, John Denver o The Beatles.

Los Gimme Gimmes cuentan en su alineación con importantes rostros de la nueva escuela del punk, tales como Fat Mike, bajista de NOFX, Chris Shiflett, guitarra de los Foo Fighters y Joey Cape y Dave Raun de Lagwagon. Ellos, junto al cantante Spike Slawson ($wingin' Utter$), se han encargado de darle un aire mas desfachatado a clásicos temas que han marcado a varias generaciones.

Al principio de su carrera, la banda aparecía en recopilatorios, hasta que en 1996 comenzaron a publicar varios singles titulados con el nombre o apellido del artista que versionaban (ejemplo Billy, con temas de Billy Joel o Denver por John Denver).

En 1997 publican su primer disco, titulado Have A Ball donde se enfocan en clásicos de los 70's y e inicios de la década de 1980. Con Are A Drag de 1999, se basaron solamente en musicales de Broadway o películas como el de Los...