Jonathan Pierce y Jacob Graham se conocieron en un campamento de verano cuando eran niños y han sido los mejores amigos desde entonces. Unos años después, formaron poco próspera banda de electro pop llamada Goat Explosion y estuvieron de tour bastante tiempo por Norte América durante sus años adolescentes. Alrededor del 2003, Jonathan y un amigo de su ciudad natal Adam Kessler formaron el grupo indie rock Elkland, la cual rápidamente firmó con Columbia Records. En los años que siguieron, Elkland ganó atención en clubs y en la escena de la música indie con su pegajoso single debut "Apart". Mientras tanto, Jacob formó una banda llamada Horse Shoes (Shelflife Records), especializándose en canciones de amor sentimentales y melodicamente fuertes. Jonathan decidió tomarse unos años fuera de escribir música después de desilusionarse con el negocio de la música y separarse de Elkland el 2005.

Jacob y Jonathan tenían planeando hace bastante comenzar una nueva banda...