吳淵幼端重寡言，苦志力學。宋寧宗嘉定七年（1214年）進士，出任建德縣主簿。改差浙東制置使司幹辦公事。丞相史彌遠館留他，交談一天，大喜，想要任用他為開化尉，吳淵說：「何敢躁進？」至官，闢縣令。歷知武陵縣，改揚子縣兼淮東轉運司幹辦公事，通判真州。入為將作監丞，遷樞密院編修官兼刑部郎官。父亡，服喪。喪滿後，由縣令歷知府。宋理宗紹定三年（1230年）除秘書丞，直煥章閣、知平江府，次年提點浙西刑獄。鎮壓衢州、嚴州人民反抗，以功為樞密院檢詳諸房文字，兼左司；進國史院編修、實錄院檢討、右文殿修撰、樞密副都承旨兼右司兼檢正。朝議想要乘金朝滅亡收複河南，吳淵以國力衰落，力陳不可用兵。因忤旨丞相鄭清之，貶為江州（今江西九江）知府。改江、淮、荊、浙、福建、廣東都大提點坑冶，抄沒人民家財百萬計，被劾罷官。升權工部侍郎，太府少卿，加集英殿修撰。以寶章閣直學士知鎮江府兼淮東總領、知太平州兼江東轉運使，兩淮流民湧入太平州境內者達40餘萬人，吳淵將流民、村落販鹽私販組織編隊予以賑濟，命令與本地人不得相犯。官至戶部侍郎。轉任華文閣學士、知隆興府、江西安撫使兼轉運副使、知江州，進龍圖閣學士，改知鎮江府。淮東總領任內將，總領湖北、京西等數地財賦、軍馬、錢糧。團結販鹽武裝隊伍，抗擊元軍。以功進端明殿學士、沿江制置使、江東安撫使兼知建康府，拜資政殿大學士，封金陵公。徙知福州、福建安撫使。寶祐五年（1257年）以援川蜀有功拜觀文殿學士、正奉大夫、兵部尚書、參知政事。卒謚莊敏。好興學養士，為政嚴酷，常籍沒豪強，時人有 「蜈蚣」之稱。撰有 《周易解》，今佚。另有《退庵文集》。《退庵詞》一卷，存詞6首。以《全宋詞》為底本。能詩善詞，詞風豪邁中見沉鬱。晚年遊歷採石之戰故址時寫下的《念奴嬌·我來牛渚》。