1970 begründete er die Psychedelic-Rock-Gruppe Warm Dust, bei der er Organist war. Der legendäre Live-Auftritt im Frühjahr 1972 in Bad Waldsee mit anschließender „Bunker-Session“ bleibt den meisten Fans unvergessen.
1972 trat er der Gruppe Ace bei, er war Autor und Sänger ihres größten Hits "How Long". 1977 trennte sich die Gruppe. Daraufhin begann Carrack, mit dem Countrystar Frankie Miller Musik zu machen.
1980/81 nahm er sein erstes eigenes Album auf und war an zwei Aufnahmen der Band Roxy Music beteiligt. Noch im selben Jahr schloss er sich der Gruppe Squeeze an. Dort ersetzte er den Keyboarder Jools Holland. Doch sein Engagement war nur von kurzer Dauer.
Sein internationaler Durchbruch gelang ihm 1985, als er von Mike Rutherford, Gitarrist der Gruppe Genesis, zu dessen Soloprojekt Mike and the Mechanics eingeladen wurde. Die Band spielte "Silent Running (On Dangerous Ground)" ein, bei dem Carrack sang. Das Lied schaffte es auf beiden Seiten des Atlantiks schnell in… ³