裴迪是長安人。裴姓北朝時原為河東顯姓，其郡望在河東聞喜(今屬山西)，但自北周之後，裴姓主支逐漸遷入關中。
唐代有名的姓氏宗族專家柳芳嘗說:"關中亦號'郡姓'，韋、裴、柳、薛、楊、杜首之。”把裴姓與韋、杜等同列為關中"郡姓"。安史亂前，裴迪曾任尚書省郎，亂后曾任
蜀州(今四川成都)刺史，其他仕歷不詳。
玄宗開元末，裴迪隱於
終南山，與王維、崔興宗、
祖詠、
儲光羲、盧象、
綦毋潛等交遊，以上數人即構成了盛唐時重要詩派——
山水田園派。裴迪與王維交往最密切，二人唱酬之作甚多，王維散文名篇《山中與裴秀才書》就是寫給他的。王維居於藍田輞川，他以
輞川二十處名勝為題，寫五言絕句二十首，裴迪一一和之。這些詩由王維編集作序，題為《
輞川集》，今仍行於世。