O'Sullivan werd geboren in Ierland. Hij verhuisde in 1960 naar Swindon waar hij geïnteresseerd raakte in muziek. In 1967 tekende hij een vijfjarig platencontract bij CBS Records. Eind jaren '60 maakte hij zijn eerste plaatopnamen, maar met weinig succes. In de jaren '70 had hij wereldwijd succes.