Il se serait battu aux côtés de l'Armée soviétique contre l'Allemagne en 1940 jusqu'à sa capture en mai 1942 dans la péninsule de Crimée où il aurait été transporté en tant que prisonnier de guerre dans un camp de concentration allemand. Demjanjuk est accusé de s’être engagé volontairement à coopérer avec les forces allemandes. Il aurait été formé au camp de Trawniki pour devenir surveillant et aurait travaillé dans un certain nombre de camps de concentration en Pologne (Treblinka, Sobibor, Majdanek) et en Allemagne (Flossenbürg). En tant que membre de la Schutzstaffel (SS), il aurait participé à la déportation de plus de 2 millions de juifs en Pologne occupée.
près la guerre, Demjanjuk est d'abord resté en Pologne jusqu'à son départ en 1952 avec sa femme pour les USA. Il a déclaré aux services de l'immigration qu'il avait été prisonnier de guerre pendant la deuxième guerre mondiale et avait changé son prénom pour John. Le 14 novembre 1958 il devient citoyen américain. Il a vécu dans l'Indiana et plus tard aux Sept Collines (près de Cleveland, dans l'Ohio) où il a travaillé comme mécanicien chez Ford et a eu deux enfants.
Fin 1970, une enquête pénale est lancée contre lui suite à son identification par les survivants des camps de concentration, l’ayant surnommé "Ivan le terrible" (en russe "Ivan Grozny"). Il aurait été selon eux surveillant dans le camp de concentration Treblinka, où il aurait torturé les résidents de ce camp et travaillé dans les chambres à gaz, dans lesquelles plus de 100.000 Juifs ont été assassinés. Cependant Demjanjuk est acquitté de cette accusation en 1993 après un procès pénal en Israël.
En 1999, le Ministère de la Justice américain lance une procédure contre Demjanjuk afin de lui retirer la citoyenneté américaine. Il n'est pas accusé d'être "Ivan le terrible" mais d’avoir travaillé pour la SS en Pologne. En 2002 sa citoyenneté américaine lui est retirée. En 2005 une cour américaine décide de sa possible extradition. Cependant, à cause de la lenteur de la procédure en appel il est extradé en Allemagne seulement le 11 mai 2009. Depuis son arrivée en Allemagne le 12 mai 2009 il est en détention provisoire en attendant son procès.