裴損的高祖父是裴守真，贈戶部尚書。裴守真第三子即裴耀卿。裴耀卿的弟弟太子中允裴春卿是裴損的曾祖父。裴損的祖父裴挺官至內直丞。裴損的父親裴棠棣官至杭州刺史、大理卿。白居易的《冷泉亭記》提到「有裴庶子棠棣作觀風亭」。元和九年（814年）三月十九丁卯，唐憲宗于麟德殿前召見大理卿裴棠棣之子裴損、前昭應令杜式方之子杜悰，各賜緋服，許尚公主。裴損後來娶了唐憲宗之女陳留公主，官至太子諭德。