据史书记载,纪晓岚先后有一位夫人和六房妾。纪晓岚的夫人姓马,马夫人直到纪晓岚七十二岁那年才去世。他有一房妾名为文鸾,是他从小青梅竹马的朋友(在北京纪晓岚故居,四合院中一株海棠,便是与文鸾所种)。郭彩符是纪的侍姬之一,沈明玕是纪的另一侍姬。
纪晓岚有儿子四个,四个儿子都没什么大成就:
长子纪汝佶(1743—1786年),字御调,又字侠如,出生于乾隆八年十二月二十七日,当时纪昀20 岁;
次子纪汝传(1747—1777年),字绪承,出生于乾隆十二年九月十三日卯时;
三子纪汝似(1766—卒年不详),字象庭,出生于乾隆三十一年九月二十七日丑时;
四子纪汝亿(1784—卒年不详),字万斯。
孙子至少11个,汝佶的六个儿子:树庭、树乔、树荫、树蕤、树蕃和树蔚;汝传的五个儿子:树馨、树馚、树馡、树馪、树馥。其中纪树馨非常有才,纪晓岚去世后,是纪树馨把祖父的文章和笔记整理成书的。到现代,第六代或第七代孙里有几个名人,中国的第一位女律师、著名法学家纪清漪,著名作家柳溪(原名纪清)和著名画家纪清佑。