生平

早年經歷

徐允恭身高八尺五寸，英俊瀟灑還有才氣。在明太祖時期已在左軍都督府任職。徐達去世後，允恭嗣爵，為了避皇太孫朱允炆諱，獲賜名輝祖。輝祖曾在陝西、北平、山東、河南擔當軍務。燕王府的阿魯帖木兒別有所圖，被他抓捕誅殺了，回來之後掌管中軍都督府。

建文年間

惠帝繼位後，加太子太傅。建文元年四月，將逢朱元璋忌日，燕王朱棣派兒子朱高熾、朱高煦、朱高燧入京。等三人到了京城，齊泰請求建文帝把他們一併留下。黃子澄說：「不可以。懷疑他而作此準備，是有害的，不如把他們全部遣返。」徐輝祖此時秘密奏報說：「我的三個外甥中，只有高煦勇猛剽悍而且無賴。他不但不忠于陛下，也會背叛他的父親，他日一定會成為大患。」惠帝問徐輝祖弟弟徐增壽和駙馬王寧，二人都包庇他們，于是將三人遣返歸國。朱高煦偷了徐輝祖的馬逃跑。徐輝祖派人去抓，沒有追上，惠帝聽說了，就把他當做親信。此後不久，朱棣發動靖難之役。在戰役期間，朱高煦作為燕軍主將出力甚多，惠帝說：「吾悔不用輝祖之言！」

建文三年四月，徐輝祖奉命參加白溝河之戰，率軍成功掩護李景隆撤退。建文四年正月，朝廷命徐輝祖帶兵北上。四月，與燕兵交戰於齊眉山，南軍大勝，斬燕將李斌。南軍再次獲得勝利，再加上暑熱，燕軍陷入窘境。這時，朝廷訛傳燕軍已兵敗，京師不可無良將，遂召回徐輝祖。淮北的中央軍因此勢孤而大敗。燕兵渡江後，徐輝祖仍引兵力戰。

永樂年間

朱棣入京後，輝祖留在父祠，因不肯迎接朱棣而下獄。朱棣親自召見詢問，徐輝祖一言不發，拒絕推戴。司法部門逼迫他招供，徐輝祖只寫下父親獲頒鐵券記錄的話：開國功臣，子孫免死而已。朱棣大怒，想要誅殺他，卻又因為皇后姻親的緣故而中止，最終勒令他返回私宅，革去俸祿和爵位。永樂五年（1407年），徐輝祖去世。徐輝祖死後一個多月，朱棣以「中山王不可無後」為理由，由其長子徐欽繼承魏國公。神宗時，朝廷錄建文忠臣，在南京設廟祭祀，以輝祖居首。後追贈太師，諡忠貞。