其早年跟從俞通海歸降朱元璋，後為水寨管軍鎮撫，屢次立功。洪武元年，招降河南反叛。朱元璋任其為京畿都漕運使，分管淮安。其在任上大興築堤，修建自揚州到濟南數百里的運河。後山陽、海州民亂，駙馬黃琛捕治，後薛祥會審釋放了很多無辜民眾。其治理淮河八年，得到百姓愛戴，當其考滿回京述職，百姓紛紛燒香祝願其回來，或立肖像祭祀。

洪武八年，授工部尚書，負責監造鳳陽宮殿。次年，朱元璋改行省為承宣佈政司，薛祥任北平布政司，治行稱第一。後為胡惟庸所厭惡，以其營造建築擾民，而貶為知嘉興府。胡惟庸案爆發後，胡被誅殺，薛祥恢復工部尚書。朱元璋問其：「讒臣害汝，何不言？」」。對曰：「臣不知也。」次年，薛祥因連坐被杖死。其子四人被貶瓊州。