Полное имя — Джеймс Джосеф Гандольфини младший [James Joseph Gandolfini, Jr.]. Его мать, Санта, родилась в США, но имеет итальянское происхождение. Она работала поваром в школе. Его отец, Джеймс Джосеф Гандольфини старший, уроженец Борготаро [Италия]. Он работал каменщиком и бетонщиком, а позже занимался хозяйственными вопросами в Парамуской высшей католической школе [Нью-Джерси].
Обучался в Рутгерском университете [Rutgers University], по окончании которого ему была присвоена степень бакалавра искусств в области коммуникаций. У Джеймса есть сестра Джоанна Антоначчи, специалист отдела по семейным вопросам Верховного суда Нью-Джерси.

19 июня 2013 года, находясь на отдыхе с 13-летним сыном Майклом в Риме, Джеймс потерял сознание в гостиничном номере. После безуспешных попыток реанимации сотрудниками скорой помощи актер скончался.