Anticommuniste et homme de réseau, il était juriste au Ministère de l'intérieur dès 1929. Complice de l'idéologie nazie, il avait supervisé les ordonnances en 1936 sur les critères de "souillure raciale" du Troisième Reich. Globke était le fils d'un grossiste en drap à Düsseldorf. Peu de temps après sa naissance sa famille s'installa à Aix-la-Chapelle. Après son Abitur au Kaiser-Karl-Gymnasium, il commença à servir dans l'armée en 1916 et appartint jusqu'à la fin de la Première Guerre mondiale à une unité d'artillerie sur le front occidental.
Immédiatement après la fin de la guerre Globke commença à étudier le droit et les sciences politiques aux universités de Bonn et Cologne. Il était membre de l'association des étudiants catholiques Bavaria Bonn. Après son doctorat sur L'immunité des parlementaires au Reichstag et dans les Landtags passé à Giessen en 1922, il commença à faire carrière dans la fonction publique. La même année, il entra au Zentrum auquel il appartint jusqu'à sa dissolution au cours de l'année 1933. En 1925, il devint sous-préfet de police à Aix-la-Chapelle. L'année suivante sa nomination comme Regierungsassessor assura son entrée définitive au service de l'État prussien. En 1929 une promotion le fit entrer au ministère de l'Intérieur de Prusse, où il devait s'occuper, entre autres, des questions d'état-civil et de changements de noms, des problèmes relatifs à la Sarre, de la démilitarisation de la Rhénanie et des conséquences du Traité de Versailles.
Après que les nationaux-socialistes eurent pris le pouvoir au début de 1933, Hans Globke participa à l'élaboration d'une série de lois qui visaient à uniformiser le système judiciaire de la Prusse avec celui du Reich. En décembre 1933 eut lieu sa nomination comme Oberregierungsrat, nomination qui (c'est au moins ce que Globke a assuré plus tard) avait d'abord été différée temporairement parce qu'on savait au ministère qu'il avait eu des doutes sur la légalité du Preussenschlag de 1932. À la suite de la fusion du ministère de l'intérieur prussien avec celui du Reich, Globke entra le 1er novembre 1934 comme conseiller au nouveau ministère de l'intérieur du Reich et de la Prusse dirigé par le ministre Wilhelm Frick ; il y travailla jusqu'en 1945. 1938 vit la dernière promotion de Globke à l'époque du nazisme comme haut-fonctionnaire.
À partir de 1934 Globke consacra surtout son activité aux changements de nom et aux questions relatives à l'état des personnes ; à partir de 1937 il s'y joignit le domaine des « questions internationales concernant la nationalité et les contrats d'option ». Comme co-référent il s'occupait aussi des questions générales sur la race, de l'émigration et de l'immigration, ainsi que de ce qui se rapportait à la loi antisémite sur la « protection du sang ». L'activité de Globke comprenait aussi la présentation et les projets pour les lois et règlements. C'est dans ce contexte qu'il participa à la préparation des premiers décrets d'exécution des lois de Nuremberg (15 septembre 1935), de la loi sur la protection de la santé du peuple allemand du 18 octobre 1935 et de la loi sur l'état des personnes (3 novembre 1937). La loi sur la modification des noms de famille et des prénoms (5 janvier 1938) et les décrets d'exécution, qui constituent les fondements du droit actuel sur les changements de nom dans l'Allemagne fédérale d'aujourd'hui, est l'œuvre de Globke.
Il y était stipulé que les Juifs qui ne portaient aucun des prénoms mentionnés sur une liste en annexe devaient ajouter le prénom de « Sara » (pour les femmes) ou d'« Israël » (pour les hommes). La « liste » pour les hommes commençait avec Abel, Abieser, Abimelech, Abner, Absalom, Ahab, Ahasja et ainsi de suite. Certains des noms sur la liste de Globke étaient une pure invention, d'autres n'avaient rien de juif, par exemple, « Isidore ». Globke était également responsable de la préparation des commentaires des lois et de leur explication. Sous ce rapport il fut en 1936, conjointement avec le Secrétaire d'État Wilhelm Stuckart, son supérieur hiérarchique, co-rédacteur et co-auteur du premier commentaire officiel sur les lois de Nuremberg et leurs décrets d'application. Toutefois, alors que Stuckart n'avait rédigé que la préface, le véritable commentaire de cette loi était l'œuvre de Globke.
Après 1935 Globke travailla activement avec Stuckart à renforcer les lois raciales de Nuremberg : non seulement étaient punis les rapports sexuels stricto sensu, mais aussi « les actions semblables au coït comme la masturbation mutuelle ». Au total, au nom de tels arrêts officiels 1.911 personnes avaient été condamnées jusqu'à 1940 pour « honte faite à la race ». Par ailleurs en 1939 Globke était associé à l'élaboration en Slovaquie du « Code juridique à appliquer aux juifs » (Kodex des jüdischen Rechts), par lequel était entamée la privation des droits pour les juifs et leur expropriation. En raison de son appartenance au Zentrum Globke, il n'était jamais devenu membre du parti nazi , il maintint des contacts avec les cercles militaires et civils qui résistaient au nazisme : c'est ainsi qu'il était l'informateur de l'évêque de Berlin, le comte Konrad von Preysing, et il recevait les confidences des opposants à Hitler, Carl Friedrich Goerdeler et Ludwig Beck qui préparaient un coup d'État. Les nazis avaient envisagé son arrestation mais ne purent y procéder du fait de l'avance des Alliés.