当时陶弘景一直在茅山隐居修行。武帝向请他出山来入朝为官，他亲手写了诏书给他，并且赐给他一条鹿皮的头巾，后来又几次增加聘任的礼物。可是陶弘景始终是没有答应，他画了一幅画给武帝。画上有两头牛，一头牛被散放着在吃水草，一头牛戴着金络头，还有人牵着绳子并且用棍子驱赶他。两头牛，前者是他现在隐居的自己，而后者就是为官后的他，享受富贵但失去自由。

武帝看到这幅图后，大笑着说：“这个人没有什么尘世的追求，只想要效仿庄子的那只摇尾巴的乌龟，这哪里有可以让他做官为我所用的道理啊？”从此，他不再提起聘任陶弘景做官的事情。

不过，国家每次遇到大事，梁武帝还是会派人前往向陶弘景询问请教。他和陶弘景之间，书信的联系一直不断，每个月常常就有好几封。而武帝每次收到他的书信，都会烧着香虔诚地接过，态度十分恭敬，简直无可复加。所以当时的人都称陶弘景是“山中宰相”。