高士廉有一个妹妹嫁给了长孙晟。婚后，两人便生下了长孙无忌与长孙皇后。高士廉和这个妹妹的感情非常好，在长孙晟去世后，他因为担心妹妹的生活问题，就毫不犹豫地将妹妹以及孩子接回自己家中居住。因此，长孙无忌兄妹俩可以说是这个舅舅抚养长大的。
高士廉对于长孙无忌来说，既是舅舅，也是父亲，两人感情深厚。在高士廉被贬官后，他需要到离家很远的地方任职。即使是在这样的情况下，他也将妹妹一家的生活妥善地安置好。高士廉担心自己走之后，妹妹的生活没有着落，于是将大房子卖掉，买下一间小房子来让他们居住，还将剩下的钱财分给了母亲和妹妹。
隋朝灭亡后，高士廉和长孙无忌都成为了唐朝的官员。在唐太宗娶了长孙无忌的妹妹之后，高士廉也变成了唐太宗的姻亲，自此更加为了唐朝的江山社稷，竭力付出自己的精力与心血。
高士廉因病去世之后，唐太宗和长孙无忌都伤心不已。唐太宗曾想去往高府哭灵，但被房玄龄极力劝阻。唐太宗不听，执意前往，最后是正在高府灵堂的长孙无忌得知消息，才赶来流泪劝谏唐太宗，说舅舅临终遗言是不愿因自己的死让唐太宗屈尊前来，唐太宗这才作罢。