王闿运故居湘绮楼是一个群体的建筑，而且它坐北朝南，地理位置优越，南北长达70米，宽有20米，整个占地面积大约有1700多平方米。湘绮楼里有许多小花园，一个个都很精致美丽。湘绮楼前面有一个水塘，名叫荷池。荷池里种着许多荷花，还养了鳖，充满了生机活力。

湘绮楼分为三进，有许多的客房，书房等等，很是富丽堂皇。但是在王闿运逝世后，他的子孙一个个都外出了，导致住宅无人管理。后来卖给了周姓人，改建为了农庄。再后来，逐渐破损毁坏。到了1958年的时候，整个建筑成了一片平地，变为了菜地，只剩下最后的一堵旧墙。