后来秦朝灭亡后,很多人都希望他们能重新出山,为统治者筹谋划策,走上政治道路,但是他们四位都没有出山。
据史料记载,刘邦曾经多次想要这四人出山为汉朝效命,这也就拉开了绮里季的故事中商山四皓和朝廷的关系。但是他们都没有前往,后来刘邦想要废除太子刘盈的时候,吕后向张良求情,希望汉高祖不要这么做。张良就建议太子秘密写一封信给商山四皓,表示自己诚挚的邀请之意,一定要动之以情晓之以理。
张良还让身边能言善辩的人去邀请商山四皓,结果没想到这四人真的出现了,在一次宴会上,太子刘盈身边的四位白发老人非常引人关注,大家纷纷猜测,太子请来四个老头是什么意思,难道是再暗示什么,又或者是在表明什么。
众人都开始打听这四位老人是什么身份,四位老人说出了自己的名字,刘邦大吃一惊,想自己请不来的人,居然让刘盈请来了,结果刘邦看到有四位杰出的人才辅佐自己的儿子,就打消了废太子的想法,并且给刘盈很大的支持。这就是绮里季的故事贤能的臣子往往是君王判断国事的保障。