公元184年的四月，在黄巾军得势后的第二个月，皇甫嵩、朱俊还有曹操率领了四万军士开始对颍川的黄巾军进行剿灭。虽然起初波才率领的黄巾军凭借军力优势大败朱俊的部队，并将皇甫嵩困于长社。但是因为指挥能力和战斗经验不足，被皇甫嵩突围。皇甫嵩同曹操一起大破波才的军队，斩敌数万。在连锁反应因下，汝南和陈国的黄巾军也告被平定。自此，汉军取的了第一次胜利，并且在后来将胜利持续扩大。

六月，朱俊在破颍川后立马攻打南阳郡。在轮番攻城五月之后，终于城破，起义军失败。期间斩杀了黄巾军将领赵宏、韩忠等人。同一年的八月，另一方面的皇甫嵩率领汉军前往冀州，攻打那里的黄巾军主力。起初黄巾军三首领之一的张梁骁勇善战，加之兵力远多于朝廷的军队，所以皇甫嵩一时之间不能战胜。足智多谋的皇甫没有正面相拼，而是筑高台观察敌军的情况。后汉军抓住时机，打个黄巾军措手不及，张梁在战斗中被杀，将士被杀多大三万余人，另有跳河溺死者五万。到十一月，皇甫嵩同锯鹿的郭典一道，击杀了黄巾军最后的首领张宝，十万起义军队被斩杀。这时，黄巾军几乎被消灭殆尽了，起义被皇甫嵩和朱俊等汉室将领平定。