记得在高柴六岁的时候，他和小朋友们一同在枣树下玩耍。当时有一只小鸟啄掉了一颗枣，引得两个小孩争夺这掉下来的枣。于是见两个小孩争执不下，高柴就站出来评判说：“大的孩子让给小的孩子，大孩子可以用棍棒打枣或者是上树摘，而小孩太小不能这么做。”于是那个大孩子就把枣让给小孩子吃。据说还有一次，在高柴七岁的时候，曾在柴汶河边玩耍，这时忽然有个小孩字落在了水中，为了就这个小孩，高柴立马跑回家抱了一个大葫芦跳进了河里，将这个落水的小孩救了出来。

出了以上的两个小故事外，相传高柴还是一个很孝顺的孩子。他的母亲在生了他之后就体弱多病，为了让母亲的病好的快些，他经常上山为母亲采摘一些木耳和香菇，为母亲亲自熬汤。关于他的这一事迹还被记录在了《孔子家语》中。