Courtney Goldberg nació en el norte de Pittsburgh, Pennsylvania, EE.UU., donde asistió a Fox Chapel Distrito Escolar del Area hasta el comienzo de su primer año en la escuela secundaria. Pasó su adolescencia más tarde en Atlanta. Según su página de MySpace, que fue en Pittsburgh que encontró a su primeras influencias musicales que no sean «hair metal» (en forma de The Grateful Dead). Fue en Atlanta que ella escribió su primera canción, en respuesta a la muerte de un amigo. Al graduarse de la escuela secundaria, se mudó a Flagstaff, Arizona, donde trabajó como un acupunturista y se unió a su primera banda.

Jaye con un billete de ida a Kauai, Hawaii, con la intención de permanecer durante un mes o dos, se quedó por un año, el surf, tomando el estilo musical de la isla, y escribir canciones.

La siguiente parada fue Jaye Atenas, Georgia, donde continuó perfeccionando su estilo musical, y se enamoró. Esta relación llevó a Austin, Texas, pero al final terminó allí,...