既然被称作先生，首先自己的德行要让人信服。传说虞刚简小时候深受爷爷虞允文喜爱，亲自教导他做人的道理传授给他知识，这让虞刚简养成了良好的教养还拥有了非凡的学识。他待人处世都特别的正直，特别的受别人尊重。因为是大家出身的，所以常常给别人做表率，一切都遵从儒家的那一套。君子重修养，虞刚简的修养就特别的好，大家都说他不愧是旧相的孙子。

虞刚简是学儒家思想的，而且研究的是当时特别流行的程朱理学。他也做官，官虽然比不上自己的爷爷，但也是有头有脸的官职。史书也记录下了他的名字和事迹。他到了一定年纪，阅历更加广泛，眼界也更加的开阔，因此写了很多关于儒学的书，为程朱理学做了填充。

虞刚简身处的时代已经是南宋的后期了，他的上司问他可不可以领兵打仗，他答应了，而且还打胜了。这件事让他更加出名。