La banda nació cuando el guitarrista Matt Good se unió con Travis Richter en el año 2002. Luego de adquirir una alineación sólida, que incluyó a vocalista Philip Reardon, al bajista Joey Antillon, baterista Derek Bloom y a los propios Good y Richter en guitarras, la banda sacó su primer EP en el año 2003 titulado Aesthetic con Four Leaf Recordings y para fines de ese mismo año ya habian firmado con Epitaph.
Jon Weisberg reemplazó a Antillon en el bajo antes de que la banda se embarcara en una gira y después comenzaron a grabar en el estudio de un amigo en Georgia. Luego Reardon dejó la banda por varias razones, entre ellas diferencias musicales (lo que es bastante notable entre los primeros 2 discos) y Antillon fue arrestado por robar en una tienda por lo que les fue imposible seguir las giras. El resto de los miembros de la banda optaron por que Good asuma como vocalista pero él queria concentrarse en las guitarras y tener alguien con quien concectarse mejor con el...