La banda se formó en 2000 como We All Fall Down y lanzó una demo de 2 canciones.
Su música consistía principalmente riffs rápidos y breakdowns con el canto limpio ocasional ( que se ha convertido cada vez menos frecuente en sus dos álbumes más recientes ) , aunque ahora se dice que están encabezando la "quinta ola" de ska -punk . Aunque las primeras grabaciones de la banda se centró en temas más típicos , como la pérdida y el amor , el vocalista Pete Kowalsky decidió cambiar el enfoque lírico de la banda a tiempo para su segundo larga duración , Women and Children Die First .
La banda en general, no se puede reproducir canciones de She Looks So Good in Red y es el único de Remembering Never CD que no está a la venta en cualquiera de sus espectáculos. Ahora están enfocados políticamente , tocando muchos temas tales como los derechos de los animales ( " The Grenade In Mouth Tragedy" , " Slaughterhouse blues ") , el control de armas (" From My Cold Dead Hands" ) ,...