由贵族变为了平民百姓，但对他们夫妇来说，却是因祸得福，此时他们把全部的精力都放在金石，字画和古玩上。他们每当得到一本奇书，两日便共同整理题词，若是得到一件器物，他们便仔细把玩欣赏，互相给出评价。有时，夫妻二人还在饭后，一同坐在藏书楼归来堂中煮茶品茶。对他们夫妇来说，这段时间是他们一生中最浪漫，最温馨，最惬意的时光。也就是在这时，赵明诚完成了《金石录》的创作。

虽然赵明诚在金石这方面有很大的成就，但他在官场上却显得很暗淡，仕途极不平坦。他最高的官职，就是江陵知府，而且也只做了一年，就因为失职被罢官，失职的原因是他的御营统治官叛乱，虽然叛乱未成，但他却因此被革职。但此事过去没多久，他又接到上面的命令，让他到潮州坐知府，但他还没有上任，就因病死在了南京，终年四十九岁。