Родился в семье Мэрилин О’Коннор, юриста по гражданским правам, и Гордана Хоффмана, исполнительного директора компании "Xerox".
У Филипа Сеймура есть 2-е сестры, Джилл и Эмили, а также брат Горди Хоффман. Родители Сеймура развелись, когда будущему актеру исполнилось 9 лет. Он тяжело пережил распад семьи и в течение некоторого времени пребывал в депрессии.

Хоффман был в отношениях с костюмершей Марианной "Мими" О’Доннелл последние 15 лет его жизни, расстались незадолго до смерти актера. Они познакомились в 1999 году во время работы в пьесе "В Арабии мы бы все стали королями". У них было 3-ое детей: сын Купер Александр [род. 2003], дочери Таллула [род. 2006] и Вилла [род. 2008]. Умер от передозировки наркотиков 2 февраля 2014 года.