À sa création en 1920, elle compte 100 soldats sous les ordres de cinq officiers britanniques. En 1921, le nombre de soldats passe à 1000. En 1926, à l'époque du consul britannique Lord Plumer, suite à la réorganisation des forces de sécurité, le « Corps d'armée de Transjordanie » voit le jour et devient une force intégrée à l'Armée impériale britannique. Le fondateur et officier de la Légion arabe jusqu'en 1939, Fik-Pasha, est un officier britannique qui, durant la Première Guerre mondiale servit dans les rangs de l'armée du Shérif Hussein, entraînée par Lawrence d'Arabie contre les Turcs.
En 1939, c'est John Bagot Glubb, encore appelé Glubb pacha ou Abu-Hanik, qui devient officier commandant de la Légion arabe. Au cours de la Seconde Guerre mondiale, le cadre de la Légion arabe s'élargit. Cette dernière intègre dans ses rangs des volontaires de pays arabes limitrophes, elle remplit certains rôles au sein de l'armée, garde l'entrée de bases militaires et de dépôts d'armes du Proche-Orient. Lors de la guerre anglo-irakienne au printemps 1941, des unités de la Légion arabe participent, aux côtés des forces britanniques, au renversement du régime de Rashid Ali Al Kaylani. Ils participent aussi à la campagne de Syrie et à l'invasion de la Syrie, alors sous contrôle du régime de Vichy.
Avec le début de la guerre israélo-arabe de 1948, la Légion arabe compte plus de 6 000 soldats, et en 1949 le chiffre atteint le nombre de 12 000. Elle est à cette date sous le contrôle officiel du gouvernement transjordanien, nouvellement indépendant, mais ses officiers sont encore partiellement britanniques, et son responsable est toujours l'officier britannique John Bagot Glubb. Les forces de la Légion arabe remplissent un rôle majeur lors des combats menés contre le jeune État d'Israël dans la zone de Jérusalem, en mai-juin 1948.
Certaines unités de la Légion arabe, postées dans les régions juives, participèrent plus ou moins activement aux actions violentes menées contre les Juifs. C'est une force de la Légion arabe qui, en mai 1948, à la veille de l'entrée des armées arabes, conquiert Kfar-Etzion. Entre le 15 mai 1948 (lendemain de la Déclaration d'indépendance de l'État d'Israël) et la fin 1948, la légion prend le contrôle de l'actuelle Cisjordanie, dans le cadre du projet du roi Abdallah d'éviter la naissance d'un État palestinien (prévu par le plan de partage de la Palestine de 1947), au profit d'un agrandissement de la Transjordanie (laquelle se rebaptisera de ce fait Jordanie en 1950).
Les forces de la Légion arabe obtiennent la reddition du Quartier juif de la vieille ville de Jérusalem, combattent à Shaar Hagaï, à Latrun, Lod et Ramleh. Avec la fin de la guerre de 1948, la Légion arabe reste la force militaire du royaume jordanien, et comptera jusqu'à 25 000 hommes. En mars 1956, les officiers arabes remplacent les derniers Britanniques, dans le cadre de la politique d'arabisation de l'armée menée par Hussein de Jordanie, lequel refoule des dizaines d'officiers ainsi que leurs familles.