也有传说是，吕蒙正小时候家道中落，父母都双双早逝，所以他是无家可归，而且求助亲戚朋友都被他们嫌弃拒绝。于是，吕蒙正只能在外漂泊，风餐露宿，沦为了一介乞丐，处境非常凄惨。

相传，有一个很出名的灯谜或者说是对联也和吕蒙正的贫穷有关。就是上联是“二三四五”，下联“六七八九”，横批为“南北”。上联和下联少的是一和十，所以指的是缺衣少食，而横批少了东和西，所以指的是没有东西。

无论是哪个版本的民间传说，所谓无风不起浪，吕蒙正小时候应该是很穷的，所以才有“穷过吕蒙正”这种说法。