他们回来禀报唐高宗，且有袁天罡反对，认为此地不宜为帝王陵寝，若百姓选此处则兴盛三代，但帝王选此处则危及三代，且这三座山峰较矮的两座似女乳状，帝王若选此处，恐会为女人所控云云。

因此唐高宗为此犹豫不决，武则天听闻此事，加上之前为袁天罡所言能为女帝之说，十分心动，便于唐高宗耳边赞叹长孙无忌，贬低袁天罡，致使最终决定选陵寝为此处，遂袁天罡怕日后受牵连，离官而去。