Pendant la Première Guerre mondiale, il combattit dans la 9e infanterie bavaroise, en 1917, sur le front occidental. Il fut blessé et reçut une croix de fer quand il était dans le 4e régiment d'infanterie. Après la guerre, Bayerlein fut brièvement membre d'un bataillon volontaire puis fut transféré au Régiment 45 en mai 1919. Il suivit une formation d'officiers en 1921 et devint l'un des officiers de ce qui restait de l'armée allemande diminuée par le traité de Versailles: la Reichswehr. Il y atteignit le rang de commandant.
Au début de la Seconde Guerre mondiale, il participa à l'invasion de la Pologne en tant qu'officier d'état-major du général Heinz Guderian. Il continua d'occuper ce poste pendant l'offensive à l'ouest et l'invasion de la France. Ses troupes traversèrent la Meuse près de Sedan, le 14 mai, et avancèrent jusqu’à ce que le général Ewald von Kleist ordonne à Guderian de stopper. L'assignation suivante de Bayerlein fut en Afrique du Nord, dans l'Afrika Korps. Au cours de la bataille d'Alam Halfa, il prit le commandement quand le général Walther Nehring fut frappé d'incapacité, le 30 août 1942. Plus tard, il servit sous Erwin Rommel et Wilhelm von Thoma. Il assumait le commandement quand les troupes britanniques capturèrent von Thoma à El Alamein, le 4 novembre. Quand Rommel quitta la Tunisie, en mars 1943, après l'échec de l'attaque de Médenine (opération Capri), Bayerlein fut nommé officier de liaison auprès du nouveau commandant italien Giovanni Messe.
Pendant ce temps, Bayerlein développa des rhumatismes musculaires et fut atteint d'une hépatite. Il fut alors envoyé en Italie pour un congé de maladie avant que les troupes allemandes en Tunisie ne se rendent le 12 mai 1943. Remis sur pied, il fut envoyé sur le front de l'Est, en octobre 1943, pour commander la 3e Panzerdivision "Berlin-Brandenburg". Il subit un encerclement soviétique à Kirovograd malgré les ordres de Hitler.
Fin 1943, il reçut de Guderian le commandement de la Panzer Lehr Division. Celle-ci se déplaça à Budapest en mars 1944. Après le débarquement en Normandie, les troupes de Bayerlein furent envoyées en France pour combattre à Caen puis près de Saint-Lo. Elles y subirent de lourdes pertes suite aux bombardements aériens durant l'opération Cobra. Plus tard, Bayerlein servit sous les ordres du général Hasso von Manteuffel, pendant l'offensive des Ardennes. Puis il prit le commandement du 53e Korps. Le 15 avril 1945, le lieutenant-général Bayerlein et ses hommes se rendirent à la 7e division blindée de l'US Army dans la Ruhr.
Il fut libéré de sa captivité le 2 avril 1947. Après la guerre, il se mit à écrire sur des sujets militaires et participa aux premières études historiques de la Seconde Guerre mondiale. Il fut également conseiller technique de la production cinématographique de J. Lee Thompson, Les Canons de Navarone. Il mourut dans sa ville natale en Bavière, en 1970.