有一天他突然发现自己的邻居有钱，晚上总是点着蜡烛，于是就向去借一根蜡烛，但是人家怎么肯，一顿冷嘲热讽，匡衡心里就不高兴了，心想“莫欺少年穷，现在看不起我，以后我让你都不敢看我（后来匡衡的成就确实是让这户人家望尘莫及）。”但是没有光还是一件大事啊，匡衡冥思苦想，终于想到了一个绝妙的主意“你不是不借我蜡烛吗，我直接借点光来用用。”他在墙上开了一个小洞，为了避免被邻居发现还不敢开大了，所以透过来的烛光很微弱，但是好歹能学习了，于是匡衡努力的学着。

匡衡这么如饥似渴的学习，很快就把家里的书给看完了，觉得自己还是太没文化的匡衡很想再多看一点书，于是就找到了当地的一个大户人家，那个大户人家有着很多的藏书，匡衡就对主人家说：“我可以免费工作，只要能够让我看您家里的书就好了。”那个主人家也是一个开明的人，最后还是同意了他的请求，还有一说是说当时那户人家的主人也是一个老学究，对于像匡衡这样爱好学习的人非常看重，不只是把藏书给他看，还亲自教导他，最后匡衡总算是成为了当时有名的大儒。