后来，严嵩等奸臣在朝中逐渐有了拥护的势力，官宦之间相互勾结，夏言逐渐失宠，后来严嵩屡次陷害夏言。在收复河套一事中，明世宗听从严嵩的谗言，而不信任夏言。最后，夏言遭到严嵩的诬陷，弃市而死。

夏言死后，家人将他葬于秦峰乡五石村莲花山。并修建了墓地，以示追掉之情。夏言墓修建的壮观雄伟，墓的两侧放了石马、石人等石雕作品。在1942年，夏言的墓地被盗，盗墓者破坏了墓地结构，加上年代久远，墓地本身也不堪岁月的腐蚀。时至今日，去夏言墓参观，仍然可以看见墓碑上的碑文。后来，当地政府也将夏言墓列为县级文物保护单位，并进行了修葺，加以保护。