还有一些对岳飞被害一事默不作声的人，朝廷就给这些人一点小恩惠。还有些比较低层的人同情岳飞的遭遇，朝廷将这些人下狱。

可以说，岳家军在岳飞被害以后变得支离破粹，南宋朝廷虽然可以放心岳家军不会因为岳飞被害而哗变了，但是却让整个南宋的战斗力大大下降。对于岳家军中的士兵，朝廷将他们编入国防军或是御林军。宋金议和以后，南宋朝廷开始裁军，岳家军的一些旧部被裁撤。

岳家军中的人员大部分是北方人，因为金国的入侵，被迫来到南方，岳家军被裁撤以后，他们都居住在了南方，以襄樊之地居多。南宋末年，蒙古军队入侵，在襄阳大战中，参战的宋朝士兵多为岳家军的后代。