Compay comenzó su carrera musical muy joven cuando compuso sus primeras canciones y en los años treinta formó parte de diversas agrupaciones de Santiago como el Cuarteto de Trovadores Orientales y el Cuarteto Hatuey. También fue vocalista del conjunto de Miguel Matamoros.

En 1948, Repilado, como voz segunda (de ahí el apodo) y tocador del tres, funda con Lorenzo Hierrezuelo el legendario dúo Los Compadres. Lorenzo, como primer vocal se llamó Compay Primo y Repilado, como hacía de voz segunda adoptó el sobrenombre de Compay Segundo, que le acompañaría hasta el día de su muerte. Los Compadres constituyeron todo un fenómeno de popularidad que se prolongó hasta 1955 cuando Reinaldo Hierrezuelo, hermano de Lorenzo, sustituye a Compay Segundo quien a su vez forma un nuevo grupo al que bautiza como Compay Segundo y sus muchachos.

La fama internacional le llegó en 1997 con su participación en el disco Buena Vista Social Club, el cual ganó varios premios Grammy. Este redescubrimiento está registrado en la película del mismo nombre realizada por Wim Wenders. El disco y la película, hicieron que Compay y el Buenavista emprendieran una gira mundial presentando sus éxitos como grupo y como solistas y posteriormente sirvió para que Compay y su grupo dieran conciertos internacionales con un éxito rotundo.

En los últimos años actuó ante millones de espectadores y grabó nueve discos. No pudo cumplir su sueño de llegar a la edad a la que llegó su abuela, que fue una esclava que murió libre a la edad de 106 años y quien le inició el habito de fumar puro desde los cinco años, Compay falleció en La Habana debido a una insuficiencia renal con 95 años, el 14 de julio de 2003.

Muchos relacionan el tema "Chan Chan" con Compay, y es que la tocó por muchos años y es uno de los temas principales del Buena Vista Social Club.