后来岳飞在宜兴驻扎下来，派人去找自己的母亲家眷，前前后后找了十多次才找到母亲和儿子。于是就把母亲和儿子接到了江南的军营里。岳飞知道了刘氏已经改嫁了，所以就另外娶了李娃，生了岳霖、岳震、岳霆。后来韩世忠托人转告说岳飞的结发夫人在自己的军营中，是一个小队长的夫人，让岳飞派人来接。韩世忠还把这件事情告诉了朝廷。岳飞厌恶刘氏没有情义，就没有去接她，给她五百贯钱。但是又被赵构误会自己，于是上书朝廷解释。这些事情很多古籍中都有记载。

后来岳珂在编写《鄂王行实编年》的时候因为考虑到这是家丑，于是就把刘氏的这段故事给删了，所以就造成了岳云是养子的误传。