Alors qu’il était destiné à la peinture,
James Gray se tourne vers le cinéma et étudie à l' University of South California.
Après un film de fin d'études remarqué, la reconnaissance de ce jeune talent ne se fait pas attendre.En 1994, son premier long métrage
Little Odessa reçoit le Lion d'argent à Venise et le prix de la critique du festival de Deauville.
Malgré ce premier succès, peu de producteurs lui font confiance et pendant quatre années, James se contentera d'écrire. Il a, notamment, travaillé sur une adaptation de la nouvelle de Philippe K. Dick, Paychek.
En 2000, Miramax relance la carrière du réalisateur en décidant de soutenir son nouveau projet
The Yards qu'il a écrit entre 1995 et 1997. Ce film lui permet de travailler avec un casting prestigieux composé de James Caan , Faye Dunaway et Ellen Burstyn qui accompagnent les plus jeunes Mark Wahlberg, Joaquin Phoenix et Charlize Theron. Le film a été sélectionné en compétition officielle à Cannes la même année.
En 2007, il retrouve Joaquin Phoenix accompagné de Mark Wahlberg pour son film
La Nuit Nous Appartient présenté à Cannes.
En 2008, son film
Two Lovers est présenté en
Sélection Officielle au Festival de Cannes, alors que l'année suivante, il se retrouve membre du jury du même festival.
Quatre ans plus tard, il est de retour à Cannes pour son film
The Immigrant, présenté, une fois de plus, en
Sélection Officielle au
66ème Festival International Du Film De Cannes 2013.