辛弃疾初到南方的时候，对朝廷的胆怯和畏缩并不是特别了解，再加上宋高宗曾经称赞过辛弃疾的英勇行为，而且在即为后也表现出了想要恢复失地，使国家更加繁荣的想法，所以辛弃疾在南宋任职时曾热情洋溢的写下很多关于抗金的建议。比如著名的《美芹十论》《九议》等。这些建议在当时受到了很多的称赞，但对于对打战已经淡却的朝廷来说，他们只对辛弃疾所表现出的实际才能感兴趣，而并不愿意再去打战。于是先后将辛弃疾派到江西、湖北等地担任转运使这些重要的地方官职，让他去整顿治安。但这些与辛弃疾的抱负显然是大相径庭，虽然他做的还是很好，但由于不能实现抱负而产生了内心越来越痛苦和压抑感。

现实对辛弃疾来说总是残酷的，虽然他有伟大的抱负，有豪迈的热情，但他却不能在朝廷中施展他的能力。所以他很早就准备好做一个隐居贤士。并且在江西上饶的带湖畔修建了园榭，以用来他隐居生活。之后，在1181年冬天，辛弃疾因受到弹劾而被罢职，此后的二十年，他就在这里过上他的隐居生活，直到开禧三年的秋天逝世，享年68岁。