Seu primeiro papel foi de personagem sem falas em uma montagem na Broadway, em Nova York, em 1954. Atuou em comerciais de TV e, consequentemente, em produções da telinha pelos anos seguintes, até conquistar o papel de Bret Maverick na trama sobre cowboys que esteve no ar entre 1957 e 1960.

Apesar de ter cravado seu nome na história da TV americana, Garner também arriscou-se em papeis importantes no cinema, como em 'Fugindo do inferno' (1963), quando atuou com Steve McQueen, e 'Eu, ela e a outra' (1963), quando dividiu a tela com Doris Day. Voltou a encarnar um protagonista de série em 'Nichols', exibida entre 1971 e 1972, em atuação que lhe rendeu um Emmy. Em 1982, integrou o elenco principal de 'Victor ou Victoria', musical que tornou-se marco da cultura gay naquela década.  

Já como um veterano das telas grandes e pequenas, James retornou à TV como um avô bonachão na série de comédia '8 simple rules for dating my teenage daughter', entre 2003 e 2005. Suas últimas aparições nas telonas aconteceram em papeis menores nos dramas românticos 'Diário de uma paixão' (2004) e 'O presente' (2005). Recentemente, Garner atuava como dublador, tendo emprestado sua voz ao super-herói Shazam em três curtas da DC, até 2010.