之后，萧道成发动兵变把持了朝政，不久就建立齐朝以代替宋。而当时，陶弘景也已经二十几岁，开始出仕。之后十几年，他就一直在齐朝为官，先后成为巴陵王、安成王等诸王的侍读，还兼任着他们的书记。等到他三十六岁，也不过是一个奉朝请，一个十分闲散的六品文官，可以说是仕途失意，怀才不遇。不过这也与他的性情有关，陶弘景从小喜欢道教养生之类的东西，为官后也时常把自己自己一个人关在屋里面，不和外面来往。于是，他就不愿自取其辱，辞官归隐。

辞官后的陶弘景，拜师道士修行，学习符箓炼丹养生等等。他时常游历名山大川，寻访仙药，不过后来主要是隐居在茅山，撰写道教著作。而期间，502年的时候，齐朝也步了宋朝的后尘，梁朝建立，当时皇帝几次请陶弘景出山为官都被他拒绝了。不过皇帝还是深念他以前的功劳，派人给他送炼丹的材料，给他在茅山建道观等，时常写信向他请教国家大事。

等到陶弘景去世，南梁的皇帝还下诏封他为中散大夫，谥号贞白先生。