纪晓岚出生前一天时，当地的百姓看见了火精，他们十分惶恐，敲起了锣鼓驱散火精。随后，火精跑入了纪晓岚家，随后纪晓岚便出生了。有人说，纪晓岚出生后，样貌和火精十分相似。除此之外，还有一则故事是说纪晓岚为猴精转世，纪晓岚小时候特别喜欢是榛栗梨枣，只要吃一颗就停不下来。加上，纪晓岚生性好动，根本无法安静的坐立片刻。于是，人们便说，纪晓岚名纪昀，“昀”字左边是一个日字旁，所以，纪晓岚和光怪有着密不可分的关系。

关于纪晓岚还有一则很有趣的故事。纪晓岚喜欢抽旱烟，烟袋经常不离手，大家都叫他“纪大烟袋”。一次，乾隆皇帝宣召纪晓岚，命令十分紧急，纪晓岚没有时间将烟袋熄灭，便将烟袋藏入了靴子中。没过多久，靴子着火了，纪晓岚强忍疼痛。奈何乾隆皇帝依然在讲话，不一会儿，纪晓岚的裤腿被烧着了，乾隆皇帝问他怎么了，纪晓岚大呼失火了。随后纪晓岚急忙跑出去灭火，因脚被烧伤，纪晓岚上朝需要拄着拐棍。