Surnommé dans les médias Mastermind of the Mob (le cerveau de la mafia), il fut durant de nombreuses années le trésorier du Syndicat national du crime (d'où son autre surnom, The Ganglang finance chairman), associé avec Lucky Luciano et Frank Costello, avec une discrétion savamment entretenue. Un agent du FBI qui enquêta sur ses activités déclara que Lansky était tellement brillant, que "s'il n'avait pas été un criminel, il aurait pu être le PDG de General Motors [première entreprise américaine à l'époque]". Sa famille immigra à New York en 1911. Dans son enfance, Lansky tira profit de l'observation des astuces des joueurs de craps dans la rue, tout en suivant des études religieuses. Lucky Luciano, futur fondateur de la Commission (conseil de la Mafia) raconta qu'il le rencontra quand il rackettait les jeunes juifs du quartier pour leur « offrir sa protection ». Lansky aurait sèchement refusé cette proposition, et son courage impressionna d'autant plus que son futur associé était (et resta) de petite taille.
Adolescent, Lansky fut employé comme « gros bras » par des syndicalistes et s'essaya sans succès au proxénétisme, tout en travaillant dans une manufacture, jusqu'en 1921. Avant la Prohibition, il organisa des gangs, avec d'autres juifs, afin de contrecarrer les gangs irlandais et italiens. Lansky et Bugsy Siegel, autre futur mafieux juif de grande envergure, devinrent de très proches associés, leur bande était connue comme The Bugs and Meyer mob. Ils rackettaient les commerçants, les immigrés et les prêteurs sur gages, mais leur spécialité, grâce aux compétences en mécanique de Lansky, était le vol de voiture.
Arnold Rothstein, grand bookmaker et financier de la pègre, le remarqua, et lui proposa, en 1921, de participer à son réseau de bootleggers avec Lucky Luciano, avec qui le Bugs and Meyer Gang collaborait déjà fréquemment. La coopération de Lansky avec ce dernier devint très étroite et symbolisa les nouveaux liens entre groupes criminels juifs et italiens. Associés à Bugsy Siegel et Frank Costello, leurs trafics d'alcools et leurs rackets leurs assurèrent une grande influence et une large fortune. Lansky investit sa part dans des maisons de jeu.
Il poussa ses coéquipiers à créer un pot commun pour corrompre les autorités et pouvoir poursuivre leurs activités. Doué pour les chiffres, il géra rapidement la comptabilité de leurs affaires. Lors de la guerre des Castellammarese, Lansky prodigua à Luciano (comme souvent au fil de leurs carrières) d'importants conseils, permettant à ce dernier de prendre une position dominante sur la scène mafieuse. Il joua ensuite un rôle de premier plan lors de l'élaboration de la Commission (ou Syndicat du crime). Lorsque la Prohibition s'acheva, Lansky investit massivement dans le secteur du jeu. Il commença par les casinos de la cité thermale de Saratoga, où il s'était déjà implanté sous la férule de Rothstein, en association avec Frank Costello et Joe Adonis. Il paya grassement le gouverneur de Louisiane, Huey Pierce Long, pour que les mafieux new-yorkais puissent exploiter des hôtels-casinos à La Nouvelle-Orléans.
Il répéta cette opération à Hot Springs dans l'Arkansas, dans le Kentucky, et en Floride. Dans ce dernier État, il mit en place un véritable empire du jeu autour de Miami, et devant l'hostilité des autochtones, dut multiplier les dons à diverses associations pour se faire accepter. Encouragé par le dictateur cubain Fulgencio Batista, Lansky prit le contrôle de plusieurs hôtels-casinos, dont il releva le standing, à La Havane, dans les années 1940 et 1950. À Las Vegas, il participa sans conviction aux opérations de Bugsy Siegel, et essaya sans succès d'éviter son exécution par le Syndicat.
En 1970, placé sous surveillance et traqué par le FBI, il choisit de s'installer en Israël (bien qu'initialement peu porté sur son identité juive), en bénéficiant de la loi du retour, mais la première ministre israélien, Golda Meir, refusa son immigration, déclarant que l'arrivée d'un criminel dangereux était indésirable (il est avec Joseph Joanovici et Robert Soblen l'un des trois seuls juifs qu'Israël n'ai jamais acceptés). Après un long périple en avion passant par la Suisse (où il aurait possédé une banque) et le Paraguay, d'où il fut expulsé par le gouvernement, il dut atterrir en Floride, où il fut arrêté par le FBI pour racket. Également accusé d'outrage à tribunal et évasion fiscale, il s'en sortit sans condamnation, notamment grâce à un vice de procédure. Lansky s'éteint d'un cancer en 1983, sans avoir jamais été en prison. Un avocat de Miami, Alvin Malnik, est aujourd'hui considéré comme l'héritier de son business.