且说李光地故居由“新衙”和“旧衙”，传说这两个地方均不是自己修建的，而是因为李光地曾帮助过拉哈达，拉哈达为了报答李光地便照着闽南建筑风格建了这华丽的宅子，并赠送给李光地的，现在这“旧衙”并没有得到很好保护。

而“新衙”则是说李光地的夫人偷建成的，是用李光地省下来的钱财建成的，但因李光地为官清明，对此行为十分愤怒，多次回乡并未居住于此。

此地还有李光地读书的学堂，本因榕树成荫为“榕树学堂”，后雍正改名为“贤良祠”。