張康國是宋神宗元豐二年（1079年）進士，知雍丘縣。紹聖年間，被蔡京推薦，提舉兩浙路（治所在今杭州市）常平，整治役法，豪強姦猾斂服，發倉救災，江南數萬人就食。轉任福建路轉運判官。崇寧元年（1102年）入為吏部員外郎、左司員外郎、起居郎。崇寧二年（1103年）宋徽宗知道他能寫詩詞，任命他為中書舍人、翰林學士。崇寧三年（1104年）進承旨，拜尚書左丞，知樞密院事。開始張康國作為蔡京一黨，制定元祐黨籍名單，蔡京專權後，二人關係失和。宋徽宗想用他牽制蔡京。大觀三年（1109年）張康國病亡，贈開府儀同三司，謚文簡。