根据南宋时期刘义庆所著的《世说新语》中的容止篇，潘安由于相貌俊美而被记录到这个篇目中，其中有一个故事讲的就是这个成语的由来。据悉，潘安由于相貌过于出众，面容清秀俊美，神态风度翩翩，引得无数女子对他朝思暮想。每次他只要一出门，驾着车在路上出游，所有女的都会立马放下手中的活，或从窗户或从门口纷纷探出头来观望他，而且不只是少女或者妇女们对他如此着迷，老妇人们更是难以自控，一看到潘安就立马将家中新鲜的水果统统搬出来，全部往他的车里丢，因此潘安每次只要一出门，回家的时候都能装满一整车的水果。

据悉，当时还有一个名叫左太冲的男子，长得其丑无比，但他见潘安如此受欢迎，就东施效颦也模仿潘安出游，结果被老妇人们吐了一脸的口水只得怏怏而归。