Die Band wurde von Adam Schlesinger und Chris Collingwood gegründet. Die beiden lernten sich auf dem College kennen und spielten bald zusammen in wechselnden Bands. Zwischenzeitlich gingen sie getrennte Wege, trafen sich aber Mitte der 1990er Jahre wieder und gründeten Fountains of Wayne. Ein Demotape brachte ihnen schließlich einen Vertrag mit Atlantic Records ein. 1996 veröffentlichten sie ihr Debut-Album, ebenfalls Fountains of Wayne genannt. Zwei Singles, Radiation Vibe und Sink To The Bottom, wurden relativ erfolgreiche Radio-Hits. Aber erst der Titelsong That Thing You Do! des gleichnamigen Films brachte den Durchbruch: Schlesingers Song wurde mit einer Oscar-Nominierung und einem Gold-Zertifikat der RIAA gewürdigt.
Zusammen mit Gitarrist Jody Porter und Schlagzeuger Brian Young gingen die beiden auf Welt-Tournee, häufig als Begleitbands für Interpreten wie The Smashing Pumpkins, The Lemonheads und andere. Das Album allerdings galt als ein kommerzieller Misserfolg, in den USA wurden… ³