柳彧七世祖柳卓，隨東晉南遷，寓居襄陽。父親柳仲禮，為南梁將領，兵敗歸北周，再家居故鄉。柳彧少年好學，涉獵經史。北周大塚宰宇文護引用他為中外府記室，很久後，出任為寧州總管掾。周武帝親政後，柳彧到京城參加考試。周武帝認為他非同尋常，任命他為司武中士。轉任鄭縣縣令。平北齊後，周武帝大賞從官，留京的人沒再賞賜。柳彧上表勸諫，于是留守的人也加官進爵。

隋文帝即位，官至尚書虞部侍郎，因為母親離世去職。不久，起複為屯田侍郎，推辭朝廷不許。當時制度三品已上，門前都有列戟。左僕射高熲之子高弘德封應國公，申請列戟。柳彧反對：「僕射之子沒有和父親別居，父親的戟槊已列在門外。尊有壓卑的道理，子有避父的禮節，怎麼能外門既設列戟，內閤又施列戟！」事情最後不能施行，高熲聽說後感嘆心服。後來轉任治書侍御史，當朝端莊嚴肅，很被百官所敬畏。文帝嘉許他剛直，對柳彧說：「大丈夫當立名于世，不能庸庸碌碌而已。」賜錢十萬，米百石。

當時刺史多任武將，有些不稱職。比如上柱國和乾子為杞州刺史，時年八十，老邁糊塗。柳彧上表進言。文帝聽從，將和乾子免職。應州刺史唐君明，為母親居喪，娶雍州長史庫狄士文的從父妹。柳彧彈劾他。唐君明、庫狄士文二人都因此獲罪。隋朝承喪亂之後，風俗敗壞，柳彧多加矯正，文帝很嘉賞他。又見皇帝勤于聽政，百官奏請，多有煩碎，于是上疏勸諫將細碎的小事委任給具體官員。文帝看到後嘉賞他。後來因為忤旨免官。不久，再令他處理事務，于是對柳彧說：「不要改變你原來的想法。」因為他家貧，敕命有司為他修築宅第。于是說：「柳彧是正直之士，國家之寶。」被如此看重。

右僕射楊素掌權顯貴，百官畏懼，沒有敢忤逆他的。楊素曾經因為稍稍受到譴責，被敕命送到南台。他仗恃他的顯貴，坐在柳彧的桌案上。柳彧從外面進來，見楊素如此，在階下端笏嚴肅地對楊素說：「奉敕治公之罪。」楊素馬上下來。柳彧據案而坐，讓楊素站在庭中，審理事情的始末。楊素于是懷恨在心。柳彧當時正被文帝信任，所以楊素沒有辦法中傷他。

柳彧見最近以來，京城百姓每到正月十五日，作角牴摔跤遊戲，互相誇耀競爭，至于糜費財力，上奏請求將其禁絕，文帝下詔准許他的奏請。當年，持節巡察河北五十二州，上奏免職地方長官貪污不稱職的二百餘人，州縣整肅，無不震驚懼怕。文帝嘉許，賜他絹布二百匹、氈三十領，拜為儀同三司。一年多後，加為員外散騎常侍，治書侍御史如故。仁壽初年，再次持節巡察太原道十九州。回京後，賜絹百五十匹。

柳彧曾經得到博陵李文博所撰寫的《治道集》十卷，蜀王楊秀派人求書。柳彧送給楊秀，楊秀再賜給柳彧奴婢十口。楊秀獲罪後，楊素上奏柳彧作為內臣結交諸侯，于是除名為民，發配到懷遠鎮。走到高陽，皇帝下詔征還。到達晉陽，正好漢王楊諒作亂，遣使馳馬召柳彧，將和他商議大事。柳彧被使者所逼迫，開始不知楊諒造反，將入城時，楊諒反形已經顯露。柳彧考慮不得脫身，于是詐稱得了惡病不能進食，自稱病危。楊諒大怒，將他囚禁。楊諒兵敗，楊素奏柳彧心懷兩端，等待事變，行為雖然不反，心中卻實同叛逆，于是獲罪貶到敦煌。楊素死後，柳彧自我辯解，隋煬帝下詔將他征還京師，在途中去世。有子柳紹，擔任介休令。另一子柳自然，九門縣令。柳自然女柳婆歸嫁唐護軍、魏王府主簿唐遜。