山顶的佘太君庙最早修建的时间在宋朝末期，寺庙里有一尊石像，佘太君庙在清末的时候，被战火摧毁，里面的石像也不知去向，现在庙里的佘太君、杨八姐、杨六郎三尊试想都是后来重新修建的。

明间传说，北宋年间，杨六郎和韩昌在山下激战，佘太君在山上观战，不到一个时辰时间，辽兵被打败，杨六郎马不停蹄，想要乘胜追击，一直逼退辽军退到关外，佘太君怕对手使诈，为了保全六郎平安无事，佘太君翻山越岭到金山寺拜佛求神。

第二天佘太君要回去的时候，老方丈极力挽留，佘太君知道再留一天，认识了一个叫李三的和尚，这和尚曾经被杨六郎救过性命，知道是佘太君来了非常感激，因为自己小时候学过雕刻，就为佘太君刻了一樽像。太君走后，李三把石像放在寺庙中让人长期供仰。

百望山上和佘太君有关的名胜古迹还有望儿台、教子台和回头石。望儿台是佘太君当年望儿的地方，但是年久失修，曾经破旧不堪，现在被修复。教子台是佘太君登山的时候谢绝杨六郎送行的地方，她站在石头上督促杨六郎抗击辽兵，为国尽忠。回头石是佘太君在这里稍事休息后，回首看望儿子的地方。