关于他的事迹，除了三国演义上述的两场戏份外，也就是一些民间野史记载了这么一个人。

唯一的记载就是：少有辩才，有战国名士纵横之风，与周瑜一同师承颜衡，出师后在魏将满宠府中当书簿，教满宠之子识字，在这之后他被举荐到曹操席前，掌管着曹操笔、砚、纸张等东西，有点像私人物品保管员。不是秘书，秘书是荀彧，但可以知道的是，无论曹操有什么重要文件，蒋干都能事先看到。

至于颜衡嘛，在讲这个颜衡之前，得先说什么是淮江书院。

淮江书院创立于公元163年，占地81亩，另有146亩的田产淮江书院开支，它是天下读书人心中的一块圣地。由颜衡和卢植二人创办，得到许多名满天下的儒士如乔（桥）玄、何颙（yong）、许劭等的大力相助，在二十年的时间里，三千余子弟皆成德才兼备的社会栋梁，成名成就于天下者，有百余人人之多，昔日的豫州牧蒋华、庐江郡守纪守、光禄大夫唐仁、太子太保卫元、侍中魏杰、大鸿胪吴致、御史中丞贾宜都是淮江书院的俊杰，共有三十多人成为国之栋梁，还有太子太傅姜军、光禄勋章宪、幽州牧叶龙、庐江郡主簿黄代、荆州书佐文和等二十多人都曾在东汉各地显露锋芒，担当重任，还有许多淮江书院的弟子无意于仕途，游历天下，四处讲学，成为东汉各地德高望重的名士，最显著者乃是江南才子史丰和钱英，就连汉灵帝都亲笔为书院题字——君子之德风。

淮江书院鼎盛时期有二百多学生，最大的三十六岁，最小的十六岁，皆是品德优良、资质极佳。他们或是门第显赫的世家子弟，或是富甲一方的社会新贵，少数寒门之士凭着天赋和苦学，也在这里如鱼得水。他们从踏入书院的那天起，已经是一脚踢开了富贵门和功名窗，毕业之后到处都能受到重用。再后来一点，卢植进京为官，成了“清流”的领袖，平叛黄巾军的名将，乔玄则隐居于市，一心著书，只剩下颜衡独立支撑着淮南书院。

那颜衡乃何许人也？他乃合肥人是也，师承于前辈儒家大师马融，三十岁时仿效孔子游学四方。在普遍的东汉史书里很难能够见到他的身影，说白一点，他就是东吴大都督周瑜的恩师，当然最后也被叛逆的周瑜气死了，使周瑜不得不离家出走游历天下两年，不过这是后话。他学识渊博，见解精深，连皇宫里的汉灵帝刘宏都知道了他的才学，招他入朝。然而，他事事皆以孔子为榜样，无意于仕途，只想兴办私学，将仁义礼智信的义理传播给每一个人，让天下百姓都能温良恭俭让。灵帝为鼓励读书人，授予颜衡三品秘书监之职，食皇家俸禄，不派实务，让他一心办学，以表彰他兴学教民之功。

淮江书院虽是私学，但比众多的公学更具盛名。自高祖刘邦以来，就有了公学——官办学校。自文帝以来，又细分为太学（国子学）、府学、州学、县学和乡学等五个等级，分布全国。私学只是公学的一个补充，不能和公学相提并论。可颜衡能把淮江书院经营得如此兴盛，连贵族子弟都以入读淮江书院为荣，这实在是当时的一个异数。

为什么会这样呢？因为在颜衡的心中，传道、授业、解惑是最神圣、最崇高的事业（这样才叫配叫老师），任何人都不能亵渎，对学生各方面的要求严格的出奇，唯有如此才能保证质量！

就如以识人著称的乔（桥）玄，也是颜衡的好友，才学广博，刚断明识，廉洁奉公，曾任太尉，乃是一代名臣，对淮江书院支持多多，本人也常来淮江书院讲过学。在一次受邀前来书院讲学的时候，他带来一个了一个如今在现代还备受争议的人——曹操，少年时期的曹操已经是聪明过人了，遇事机警，就是有点放荡不羁，负气仗义，乔玄很喜欢曹操，还曾有乔玄要把家属托付给曹操的传闻，觉得他将来可以担当国家之重任的故事，所以乔玄就想把曹操送到淮江书院寄读。

可出乎乔玄意料的是，颜衡在看到曹操后，摇了摇头，他看得出曹操聪明机警，却放荡不羁，品格不够诚实，言行不够端正，所以任乔玄说破了嘴皮，颜衡也不肯收曹操，使乔玄丢尽了面子。从那以后，乔玄再也没踏进淮江书院，不过也只是两年而已。