El grupo fue formado en 1996 por Adam Schlesinger y Chris Collingwood, antiguos compañeros de colegio. Previamente, los dos habían participado en otros grupos: Schlesinger había fundado Ivy en Nueva York y Collingwood The Mercy Buckets en Boston. El nombre del grupo se debe a una tienda de utensilios de jardinería de Wayne, Nueva Jersey, llamada Fountains of Wayne.

A ellos se unieron Brian Young, que había sido batería de The Posies, y Jody Porter, anteriormente en The Belltower. Desde entonces la formación no ha cambiado.

En 1996 sacan al mercado su primer elepé, Fountains of Wayne, en Atlantic Records. En la misma época, Schlesinger conoce un súbito éxito a raíz de la canción That Thing You Do, perteneciente a la banda sonora de la película The Wonders, que fue nominada a los Oscar y fue disco de oro según la Recording Industry Association of America. Sin embargo, el álbum de la banda no tuvo el mismo éxito: vendió unas 125.000 copias en Estados Unidos. El grupo...