而关于这座隋文帝陵还有着一个神奇的传说。相传杨坚在位期间励精图治，为了统一天下直到晚年也仍旧操劳国事，而却在出巡回归的路上病逝。

因为拉棺木尸体的车轮被坎坷的道路折坏，天气又正值酷暑，所以众人只好将杨坚就地埋葬。而百姓们则披麻戴孝，用手掌、衣服、鞋等可以盛土的东西将土运到了隋文帝埋葬的地方，最终成为了小山一般的陵墓。

而后，每到子夜时分，夜色深沉之时，便会从陵墓中跑出来七匹金色的马驹儿在陵墓的顶上相互追逐嬉戏。清脆的铃铛声乘着夜风飘到了远处，即便是人们在睡梦中也能听到。然而在一次漆黑的夜里，马驹遭到了盗墓贼的暗算，被拐走了六匹，剩下的一匹则在每日的夜晚出来寻找自己曾经的同伴，发出孤独凄凉的嘶鸣。

不幸的是最后这匹马驹最终也被盗墓贼所偷，自此隋文帝陵便成为了一座普通的陵墓。