La carrière de James Gammon n'a pas débuté en tant qu'acteur mais en tant que Caméraman pour la télévision. Son attitude assez noir et sa voix roque l'ont ammené à établir une longue carrière à la télévision dans des série telles que
Drôles De Dames ou
Arabesque. Il interprete, au cinéma, des rôles divers et variés dans le genre du Western (Silverado, Urban Cowboy, The Hi-lo Country, Retour à Cold Mountain ou plus récemment Appaloosa) ou dans le film à suspens (Tueurs Nés, L'Homme Au Masque De Fer, The Cell)
Un de ses rôles les plus importants de ces-dernieres année est celui, durant les 6 saisons de Nash Bridges, le rôle du père de Don Johnson.
Durant les années 2000, il joue dans des films plus intimistes pour Wim Wenders (Don'T Come Knocking) et Stephen Herek (7 Jours Et Une Vie)
De 2004 à 2006, il apparait dans diverses séries telles que Lax, Preuve à L'Appui ou encore Grey'S Anatomy.
En 2009, il joue dans le premier film américain de Bertrand Tavernier Dans La Brume électrique. 
