武后怕世人知道皇家出了此等丑事，便改裴居道的女儿做太子妃，杨氏丧事还未满半数，贺兰敏之便把丧服脱下，对于贺兰敏之的种种恶行，武后忍无可忍立即下令将他发配雷州，恢复他的本姓（贺兰），在朝中曾与他交好的朋友，多数都被流放岭南。

贺兰敏之虽然恶盈满贯，却也是不可多得的人才，他曾编过《三十春秋》一百卷，也曾有人写过《三十春秋》与之相比却逊色很多，经过历史的磨砺与沧桑，如今，只剩下辑本一卷，当贺兰敏之来到韶州时，他觉得自己受尽侮辱，便用缰绳自杀了，贺兰敏之去世于公元671年，年仅29岁。