宋徽宗宣和六年（1124年）進士，調任湖州（今浙江省吳興市）刑曹，改太學。召對，論事切直，擢升為翰林學士。當時鄱陽學宮經兵火，權貴請以宮址為墓地。有旨同意這個奏請，程克俊封還制書，學宮沒有遷徙。宋高宗紹興十二年（1142年）自翰林學士遷端明殿學士，轉任權參知政事，簽書樞密院事。次年，六月因病請求去職，以端明殿學士知明州（今浙江省寧波市）。紹興二十六年（1156年）六月，再任參知政事、中奉大夫，八月，再次因病請求去職，再任資政殿學士、提舉洞霄宮。紹興二十七年（1157年）七月卒，謚號忠靖。封鄱陽郡開國侯。著有《易通解》十卷、《內外製》二十卷，今佚。山西垣曲縣發現的 「垣曲縣店下樣」為宋代運輸解鹽所用的標準石衡器，「店」為置貨鬻物之處。「店下樣」石刻有銘文293字，末刻有「張浩書，程克俊刊」字樣。