徐庶投奔了刘备，但在跟随刘备逃亡过程中，徐庶的母亲被曹操虏获，徐庶对刘备请辞，说虽然我想要为您的创造天下霸业出谋划策，但是现在母亲被俘，我已“方寸大乱”，没有什么可以帮助您的了。刘备只好放开了徐庶。

徐庶来到曹操阵营，母亲怨恨徐庶不应该投降，便自杀了。徐庶认为是曹操害死了母亲，便更加恨起了曹操，徐庶不愿与刘备、诸葛亮为敌，来到曹操身边后，却不曾为他在政治上出过一条计策“徐庶进曹营，一言不发”。

据传，有人在徐庶归隐后见过他。在灵山东北海上岛上，生长一种白色的抵抗严寒的棉花，开的很大，消息传出后，竟然吸引了很多好事之人前来采摘。有个年轻人手捧棉花，见到一个身着道袍的老人，老人呵斥他，那是给人抵御冬天寒冷的东西，你没用摘他干什么，老人划着竹筏走了，水面突然刮起大风，知道那人把棉花全都丢了，风才停止。这个人就是徐庶，为人正直。