Il fut membre du gang des Tractions, mais aussi fut impliqué dans l'enlèvement de Ben Barka et dans l'affaire du colonel Antoine Argoud, opérations controversées imputées aux Services Spéciaux français sous l'ère gaulliste. Ancien des Bataillons d'infanterie légère d'Afrique (les Bat d'Af), sa biographie durant la Seconde Guerre mondiale reste floue, sa déportation étant mise tantôt sur le compte de ses origines juives, tantôt sur ses actions dans la résistance française, voire sur des soupçons d'avoir trempé dans les trafics de rationnement.
Henri Lafont, chef de la Carlingue (la Gestapo française), voulait recruter Jo Attia, mais celui-ci refusa par patriotisme de travailler pour les Allemands, bien que truand ; il ne supportait pas la présence des Allemands en France. Lafont ordonna son exécution, mais ses amis Abel Danos et Pierre Loutrel (futur Pierrot-le-fou) réussirent à convaincre Lafont de le livrer aux Allemands.
Il fut déporté à Mauthausen, où il aida de nombreux déportés à éviter la mort, par son courage physique et son énergie. L'ancien ministre gaulliste de la justice Edmond Michelet, ancien déporté, fut témoin de moralité à un des nombreux procès de Jo Attia. Il est mort d'un cancer de la gorge.