但是后来朝廷召了徐辉祖回朝，其他的将领失去了支援，也就都打了败仗。燕王的部队打到江南的时候，徐辉祖还在顽强的抵抗。朱棣攻入南京的时候，只有徐辉祖一个人死守着父亲徐达的祠堂不去迎接朱棣。朱棣想要治他罪，让他自己写自己的罪过，但是徐辉祖却把免死铁券上的字给写了下来，朱棣大怒就把徐辉祖给囚禁了起来，还削了他的爵位，最后徐祖辉在永乐五年的时候去世了。