Родился в Лондоне. Учился во французском лицее Шарля де Голля в Южном Кенсингтоне и колледже Кармель — единственной еврейской школе-интернате в Европе (Оксфордшир). Высшее образование получил в Манчестерском университете. В 1970-х гг. работал артистом в театре. Его дебютом в кино стала драма «Поля смерти» (1984), основанная на документальных материалах, о действиях красных кхмеров в Камбодже. Картина принесла Жоффе номинацию на «Оскар» за лучшую режиссуру и получила три премии.