黄霸,字次公,出生于淮阳阳夏。
他自幼钻研法学,立志做一个为国为民的好官清官,汉武帝时期黄霸给自己买了一个谒者的官职,后面因为兄弟犯罪受到牵连被免职。黄霸为了实现自己的梦想又捐谷求官,授补左冯翊,管辖沈黎郡,负责郡内钱粮事宜。黄霸为人精明聪敏,善于领导,在职期间兢兢业业,认认真真做好自己的本职工作,也为自己赢得了不少称赞,不久之后被举荐为河南太守丞。
后元二年,汉武帝病逝后汉昭帝即位,当时朝廷以严刑峻法治理天下,各地官吏也皆严刑峻法为事,百姓动辄触禁,黄霸一直都秉承自己宽厚温和的政策,反对酷刑,颇得吏民称颂,闻名天下。汉宣帝刘病已继位之后深知百姓的疾苦和吏治得失,改用温和仁厚的官吏,于是就任命黄霸为廷尉正。黄霸在任内数次裁断疑难案件,上至达官贵人,下至平民百姓都对他心服口服,不久又被擢为代理丞相长史。
本始二年,因为汉武帝庙号与庙乐的问题黄霸以大逆不道的罪名,与夏侯胜长期关押在牢中。在狱中黄霸虚心与夏侯胜学习知识,坦然地面对自己的遭遇,这一关长达三年之久,黄霸拜入夏侯胜门下学习,可以说是他一生的转折点。第四年关东四十九郡发生地震,汉宣帝为了祈求太平而大赦天下,夏侯胜和黄霸得以被赦出狱,事后黄霸在夏侯胜的举荐下被任命为扬州刺史,后因政绩显著被汉宣帝表彰,升任颍川太守,并赐一丈高的车盖。黄霸任职期间什么事情都要自己亲力亲为,为了解民间情况,黄霸还常派官员微服私访,并亲自以平民身份,深入民间,关心百姓疾苦。为了体恤百姓疾苦,每次都挑选品性优良的官员来传达惠民政策,当地老百姓的生活水平也随之提高。
五凤二年黄霸封为关内侯,赐黄金百斤,几个月后,宣帝任命黄霸担任太子太傅,随后又提拔为御史大夫。五凤三年,77岁的黄霸出任丞相一职,但是高居丞相之位后的黄霸却再也没能创造更多的奇迹,擅长治民的他却不做善于为相,公卿百官认为黄霸为相,风采不及前丞相丙吉、魏相,遭到一些人的非议,然而自从汉朝兴起,讲到治理地方官吏民众的,还是以黄霸为第一。甘露三年,黄霸最终病死,追赠定侯。