In 1972 begon hij de band Stealers Wheel met een schoolvriend. Ze hadden grote Top 40 hits in 1973 met ‘Stuck In The Middle With You’ nr.12 en 'Late Again' nr. 4.
Gerry Rafferty’s grootste hit was ’Baker Street’, van zijn soloalbum City to City uit 1978.