高校時代から演劇に興味をもち、カリフォルニア大学ロサンゼルス校(UCLA)の演劇科で学んだ。舞台やコマーシャルなどに出ていたが、更に俳優としてのキャリアを追い求めるために中退、ニューヨークに移った。そこで1950年代の『Kraft Television Theater』、『Danger』や『General Electric Theater』のようなテレビ番組の何編かに出演した。この頃よりジェームズはアンドレ・ジッドの『背徳者』に心酔して、ハリウッドへ行き、映画スターとなることを夢見るようになる。