公元607年，隋炀帝巡视北方边塞，贺若弼随行。此前他曾命令宇文恺在榆林(今内蒙古鄂尔多斯黄河北岸)修建一座规模宏大而豪华无比的行宫，为了炫耀国威他便在行宫大宴突厥可汗及各部酋长贵族，并给可汗及各级首领以大量的赏赐，还下令不惜人力财力修筑长城。

　　炀帝此举，引起高颖、宇文改等许多大臣的非议，贺若弼也私下议论。隋炀帝得到密奏，便以毁谤朝政，欲意图谋不规为罪名，将贺若弼等三人处死，并把贺若弼之妻及其儿子贺怀亮没为官奴。不久，贺怀亮也惨遭杀害，其他人众流放边疆。贺若弼死时已是六十四岁的老人了。