La agrupación surge en Cuautitlan Izcalli estado de México en enero del 2002, aparecen por primera vez con el nombre de "The Cavernarios". En verano de ese mismo año se graba el primer demo llamado “Primitive Songs”, así comienza la etapa mas sólida de la banda. Desde sus inicios The Cavernarios busco tener un sonido propio, caracterizado por un sonido crudo y primitivo, nutrido no solo por la música surf si no también por el punk, el rockabilly, el blues y hasta el rock ingles entre otros estilos musicales.
Para el verano del 2006 entran a grabar el primer LP de nombre homónimo “THE CAVERNARIOS” su mas reciente producción el cual incluye grabaciones realizadas en una sola toma para recrear el sonido en vivo de la banda poniendo al descubierto el sonido crudo que los caracteriza, es una agrupación de 15 temas que contienen una mezcla de surf instrumental, garaje y rockabilly.