Colombo devient le chef de la famille Profaci en 1962, à la mort de son fondateur Joe Profaci. Au printemps 1970, Colombo se defendit contre la pression du FBI sur ses activités. Expliquant que comme il se considérait traqué par le FBI du fait de ses origines Italos-américain, il décida de prendre en filature les agents du FBI dans New-York. Les activités de Colombo menérent à la formation d'une ligue de Défense des Droits Civique des Italo-Américain.
Le 29 juin 1970, 50000 personnes se réunirent sur Columbus Circle dans New-York pour un rassemblement pour "la journée de l'unité italo-américaine". Le 28 juin 1971, Colombo se fait tirer dans la tête par Jerome Johnson, déguisé en photographe. Cette action avait sans doute été commanditée par Carlo Gambino. Sérieusement blessé, Joseph Colombo restera dans le coma les 7 années suivantes et mourra le 22 mai 1978 dans son lit d'hôpital.