小時候就能寫文章。後周顯德元年（954年），中進士，進獻給周世宗所著《易論》三十三篇，舉進士為郢州、汝州二州從事，轉任右拾遺。宋朝建立，以殿中侍御史選為洋州通判，辦事幹練，剖決滯訟無留獄。轉任陝州（治所在今河南陝縣）通判，有司調陝州的田租到河南府，他以本鎮軍食尚缺，不應命，于是被免官。開寶五年（972年），任太子中允。開寶六年（973年），宋太祖拜他為左拾遺、知制誥，因為分析時政精闢而著稱。參與編修《五代史》，出使南唐，對李煜曉以利害。太平興國元年（976年），轉任左補闕。太平興國三年（978年）冬，加史館修撰、判館事。太平興國四年（979年）跟隨宋太宗北征北漢太原，回京後，為中書舍人，參與修纂《太祖實錄》。太平興國七年（982年），因為秦王趙廷美之案，李穆被彈劾，改為司封員外郎。太平興國八年（983年），同知貢舉，再任中書舍人。為翰林學士、知開封府，懲治奸猾、豪右。宋太宗晉升他為左諫議大夫、參知政事。太平興國九年（984年），李穆去世，贈工部尚書。李穆為人質樸忠厚，謹言慎行，待人寬厚，好薦後進，深信佛典，善談名理。