宋真宗大中祥符八年（1015年）進士，初為楚丘主簿，改任度支員外郎。王曾稱他有公輔之器。夏竦經略陝西，推薦其才，改任六宅使、涇原路（治所在今甘肅省平涼市）、秦鳳路（治所在今甘肅省天水市）安撫都監。後知絳州，改京西轉運使。歷任戶部判官、知鄧州、濠州。累遷開封府推官、侍御史知雜事。因為論事激直，指斥張貴妃和宦官楊懷敏，為宋仁宗所不悅。讓他以天章閣待制出知慶州，改任龍圖閣直學士、知秦州，後知開封府。至和二年（1055年）兼侍讀，拜御史中丞。論時事無所畏避，曾奉命出使契丹國。嘉祐三年（1058年）擢升為樞密副使。嘉祐五年（1060年）拜參知政事、樞密使，與韓琦請求宋仁宗建儲。宋英宗即位，因為年老堅請辭位。以彰信軍節度使、同中書門下平章事判許州，改鎮河陽三城。以太子太師致仕。宋神宗熙寧十年（1077年）卒，年八十六歲，贈司徒兼侍中，謚康節。《全宋詞》錄其詞二首。薛礪若《宋詞通論》：「昇詞以《離亭燕》為最有名。」