宋高宗紹興二十七年（1157年）胡晉臣中進士，為成都府通判。因為制置使范成大推薦，宋孝宗召赴入對。胡晉臣上疏稱當今士俗、民力、邊備、軍政四弊。于是擔任秘書省校書郎，轉任著作佐郎兼右曹郎官。胡晉臣上奏重講官、責有司、通下情三事，得到宋孝宗首肯。當時趙雄秉政，宗室招權，胡晉臣開列近幸姓名。宋孝宗感悟，近幸都很畏懼，胡晉臣于是得罪了很多人。求外任，出知漢州。後來再次召入，上書選將帥、廣平常、治渠堰、更銓法、通楮幣五事。轉任侍御史。朱熹被任命為兵部官員，因病沒有就任。侍郎林慄上奏說他傲慢。胡晉臣肯定朱熹批評林慄。宋光宗嗣位，擢升胡晉臣為工部侍郎，給事中兼侍讀。拜端明殿學士、簽書樞密院事。宋光宗紹熙元年（1190年）被任命為參知政事兼同知樞密院事，宋光宗經常不臨朝，胡晉臣和留正一起輔政。紹熙四年（1193年）在官位上去世，贈金紫光祿大夫、資政殿大學士，謚號文清。