嘉慶二十四年舉人出身。道光二年（1822年），任實錄館謄錄官。十年，任甘肅省隴西縣知縣。十一年，兵部筆帖式上行走。十五年，任廣東省普寧縣知縣。十六年調任龍門縣知縣。十九年，任東莞縣知縣。二十一年，任南雄直隸州知州。二十六年，任四川省敘州府知府。二十七年，任廣東督糧道。二十九年，任廣東按察使，同年改廣東布政使。咸豐二年（1852年），任河南巡撫，同年署理廣東巡撫。七年，署理欽差大臣，九年，接替王慶雲署理兩廣總督。

1858年1月，自英法聯軍入侵廣州後，為了恢復城內秩序，逮捕兩廣總督葉名琛，組建「聯軍委員會」。羈留於觀音山的柏貴不久即被英法總局復職並一同管理廣州全城。柏貴也成為了中國第一位被西方殖民者操控的傀儡。為維持傀儡地位，柏貴不斷說服同僚放棄抗戰主張，為侵略者開脫罪責。遂遭朝廷內外有識之士強烈反對，亦失去咸豐帝之信任，加以英法侵略者的抑制，憂鬱成疾，1859年病死廣州。