潘安不仅是个至情之人，还是个至孝之人。北宋之前《二十四孝》里记载有潘安辞官奉母的故事：“荥阳中牟人潘岳，字安仁，晋武帝时任河阳县令。他事亲至孝，当时父亲已去世，就接母亲到任所侍奉。他喜植花木，天长日久，他植的桃李竟成林。每年花开时节，他总是拣风和日丽的好天，亲自搀扶母亲来林中赏花游乐。一年，母亲染病思归故里。潘岳得知母意，随即辞官奉母回乡。上官再三挽留。他说：‘我若是贪恋荣华富贵，不肯听从母意，那算什么儿子呢？’上官被他孝感动，便允他辞官。
    诗曰：弃官从母孝诚虔，归里牧羊兼种田；藉以承欢滋养母，复元欢乐事天年。”