《世说新语》中记载，潘安每次出去游玩，总有一群女子追着他。追着潘安的女子们又是给他献花，又是给他献果。潘安每次回家的时候，都能够满载而归，“掷果盈车”的典故就是这么来的。

网络配图

　　潘安不仅美貌绝伦，更是个感情专一的好丈夫。潘安对老婆痴情得很，老婆在世的时候绝不出去拈花惹草，老婆死后，他还念念不忘，写了三首《悼亡诗》，字字血泪，句句柔情。但这么个绝世好男人命却不好。潘安早年不被重用，后来就投靠了晋惠帝的皇后贾南风，那时贾氏集团权势熏天，贾南风想废掉太子，潘安不幸被卷入其中。一次太子喝醉了酒，潘安就被安排写了一篇祭神的文章，并让太子抄写。太子早已醉得神志不清，依葫芦画瓢地写了一通。潘安拿到太子抄写的文章后，再稍作加工，就成太子谋逆的罪证。此事导致太子被废，太子的生母被处死。八王之乱后，赵王司马伦夺权成功，他立刻抓了潘安，并判了他一个夷灭三族。