C'est comme acteur de théâtre que Julien Duvivier fait ses débuts en 1916 à l'Odéon, alors dirigé par André Antoine. En 1918, il entame son parcours au cinéma chez Gaumont comme scénariste ou assistant, entre autres d'André Antoine, devenu réalisateur (pour le film La Terre), de Louis Feuillade et Marcel L'Herbier. Dès l'année suivante, Duvivier réalise son premier film, Haceldama ou le prix du sang, qui cependant ne connaît qu’un succès mitigé. Parmi les films qu’il tourne dans les années 1920, on en trouve quelques-uns qui traitent de sujets religieux tels : Credo ou la Tragédie de Lourdes ( scénario Georges d'Esparbès) , L'Abbé Constantin, ou encore La Vie miraculeuse de Thérèse Martin… Sa filmographie ne restera jamais cantonnée cependant à une thématique ni même à un style particulier.
Dans les années 1930, il est engagé par de la société de production Film d'Art fondée par Marcel Vandal et Charles Delac où il pratique le travail d'équipe. Duvivier y restera neuf ans. C’est avec David Golder, réalisé en 1930, que Duvivier connaît un premier succès. C’est aussi son premier film parlant, et la première expérience du parlant pour l’acteur Harry Baur. 1934 marque la première collaboration de Julien Duvivier avec l’acteur Jean Gabin, qu’il dirige dans Maria Chapdelaine.
En 1935, pour La Bandera, Julien Duvivier s’attache pour l’écriture les talents de Charles Spaak, qui avait jusque-là collaboré avec Feyder, Grémillon, Allégret et L'Herbier. Ils travailleront par la suite souvent ensemble. Après le tournage du Golem (1936), film fantastique, Duvivier entreprend La Belle Équipe avec Jean Gabin, Charles Vanel, Raymond Aimos, une œuvre qui restera un titre phare du réalisateur. Dans ce film, cinq traîne-savates décrochent le gros lot à la loterie et décident d’acheter en commun une guinguette au bord de l’eau ; mais les imprévus se succèdent, et quand la femme s’en mêle, il n’y a plus grand-chose à sauver. La fin originale du film étant jugée trop pessimiste, une autre, plus joyeuse, est tournée. Ces deux fins existent toujours.
Trois films s’enchaînent ensuite : L'Homme du jour (1936), Pépé le Moko et Un carnet de bal (1937). Tandis que le premier, avec Maurice Chevalier dans le rôle principal, est un film mineur dans la carrière du réalisateur, les deux autres sont d'incontestables sommets. Pépé le Moko, qui nous plonge dans le milieu de la pègre, et qui a pour décor exotique la ville d’Alger, est par ailleurs le film qui véritablement propulse Gabin au rang de vedette internationale.
En 1938, Duvivier signe un contrat avec la MGM et va tourner aux États-Unis un premier film, une biographie de Strauss, The Great Waltz. L'année suivante, déjà de retour en France, Duvivier met en scène la La Fin du jour, dans lequel des acteurs de théâtre à la retraite luttent pour que la maison de repos créée pour les accueillir eux seuls ne ferme pas ses portes ; on retrouve dans ce film Michel Simon en vieil acteur cabotin, et Louis Jouvet en vieux jeune premier psychotique qui croit encore en son pouvoir de séduction. C’est sans doute le film le plus émouvant du réalisateur. Duvivier enchaîne ensuite avec La Charrette fantôme, film fantastique adapté d’un roman de Selma Lagerlöf.
Duvivier tourne en 1940 Untel père et fils, avec Raimu, Michèle Morgan, et Louis Jouvet ; le film, une chronique familiale, ne pourra, à cause de la tournure prise par les événements politiques, être projeté qu’à la fin de guerre, du moins en France. Ce film, en dépit d'une distribution excellente, est généralement considéré comme un film mineur, voire raté, de Duvivier. Durant la Seconde Guerre mondiale, contrairement à Marcel Carné notamment, qui malgré les circonstances poursuit sa carrière en France, Julien Duvivier part de nouveau travailler aux États-Unis, où il réalise 5 films : Lydia (1941), 2 films à sketches : Tales of Manhattan, avec Charles Boyer, Rita Hayworth entre autres stars (1942) et Flesh and Fantasy, avec Edward G. Robinson, Charles Boyer et Barbara Stanwyck (1943), ensuite L'Imposteur, un remake de Pépé le Moko avec toujours Gabin (1943) et Destiny (1944).
À son retour en France, Duvivier éprouve quelques difficultés à renouer avec son succès des années 1930. En 1946, sort Panique. Condensé exhaustif des instincts les plus vils et les plus bas de la nature humaine, l’œuvre reste le film le plus personnel, le plus noir et le plus nihiliste de son auteur. Ce sera un échec cuisant, tant critique que public. La critique lui reprocha une volonté de retour au réalisme poétique d’avant-guerre. Duvivier continuera cependant, après un court détour en Grande-Bretagne en 1948 pour le tournage d'Anna Karénine et un tournage en Espagne pour Black Jack en 1950, à travailler en France jusqu’à la fin de sa vie.
En 1951, il réalise Sous le ciel de Paris, un film d’une très grande originalité d’un point de vue du découpage scénaristique : au cours d’une journée à Paris, on suit des gens dont les destins vont finir par se croiser. La même année, Duvivier tourne le premier volet des Don Camillo : Le Petit monde de don Camillo qui rencontre un succès populaire immédiat et auquel il donne lui-même une suite Le Retour de don Camillo, qui sort en 1953. La série se prolongera sous la direction d’autres réalisateurs.
Dans Voici le temps des assassins (1956), on retrouve Jean Gabin dans le rôle d’un brave restaurateur qui se fait gruger par une jeune femme cynique et sans scrupules, jouée par Danièle Delorme. Un film très noir, et un portrait de femme démoniaque marquant. Duvivier tourne un autre grand film en 1959 : Marie-Octobre, avec Danielle Darrieux, Paul Meurisse, Serge Reggiani et Bernard Blier, entre autres. Un exercice de style : 11 personnages (neuf hommes, deux femmes — la reine et l'ouvrière pourrait-on dire —), unité de lieu, de temps, d'action, et une mise en scène omniprésente, inquisitrice, presque menaçante, avec un souci constant et presque maniaque du cadrage et de la composition de l'image. La même année, le metteur en scène est invité à faire partie du jury au Festival de Cannes.
En 1962, il se livre une dernière fois à l’exercice du film à sketches, avec Le Diable et les Dix Commandements. L’année suivante, sort Chair de poule, un film dont le scénario est proche de celui du Facteur sonne toujours deux fois et qui présente encore une fois un personnage de garce sans scrupules. En 1967, alors que la production de Diaboliquement vôtre vient de s’achever, film dans lequel il est question d’un homme rendu amnésique à la suite d’un accident de voiture, Duvivier est lui-même victime d’un accident de la circulation, provoquant une crise cardiaque qui lui coûte la vie. Il est âgé de 71 ans et laisse derrière lui une filmographie riche de près de 70 titres, parmi lesquels on compte d’incontournables classiques du cinéma mondial. Il est enterré au cimetière ancien de Rueil-Malmaison dans les Hauts-de-Seine.