据悉，当时贾谧权势极盛，由于他偏爱文学，因此集结了二十四个友人加入他的宾阁，潘安就位列其中。这些人占据了文坛的大部分，时常在当时富豪的金谷园中饮酒作诗，故称“金谷二十四友”。当年王诩要赴长安，其众人在金谷园内为其摆酒送别，这是历史中第一次真正意义上的文人聚会，在这次宴会中，他们所作的《金谷诗序》也就成了王羲之大作《兰亭集序》效仿的典范。酒宴上罚酒的现象也是出自这次宴会。

除此之外，大名鼎鼎的苏州拙政园也与潘安有着密不可分的关系，“拙政园”的名称是借用潘安的诗作《闲居赋》中的一句“此亦拙者之为政也”而得名。