因为刘秀兄弟和南阳宗室子弟在南阳郡的舂陵乡（今湖北枣阳）起兵，故史称刘秀兄弟的兵马为舂陵军，舂陵军的主力为南阳的刘氏宗室和本郡的豪杰，兵少将寡，装备很差，甚至在初期，刘秀是骑牛上阵的，这也成为了后世演义中的一段佳话，即所谓的“牛背上的开国皇帝”。
歼灭新朝
公元23年，西汉宗室刘玄被绿林军的主要将领拥立为帝，建元“更始”，是为更始帝。对此，刘縯及南阳刘姓宗室极为不满，只是迫于在联军之中，绿林军人多势大，又有强敌在前，只得暂且作罢。刘縯被封为大司徒，刘秀则受封为太常偏将军。更始政权建立，复用汉朝旗号，此举大大震动了新朝，王莽即遣大司空王邑、大司徒王寻发各州郡精兵共四十二万扑向昆阳和宛城一线，力图一举扑灭新生的更始政权。同年五月，王邑、王寻率军西出洛阳，南下颍川（今河南禹县），与严尤、陈茂两部会合，迫使刘秀的部队从阳关（今河南禹县西北）撤回昆阳。昆阳汉军仅九千人，众恐不敌，欲弃城退守荆州故地。刘秀以“合兵尚能取胜、分散势难保全”为由，说服诸将固守昆阳。此时王莽军已逼近城北，刘秀率13名骑兵乘夜出城，赴定陵县、郾县调集援兵，后有步兵、骑兵一万七千精兵赴援昆阳。
同年六月，刘秀率领步骑万余人驰援昆阳。刘秀亲率千余精锐为前锋，反复猛冲，斩杀王莽军千余人，汉军士气大振。新朝号称百万大军的主力覆灭于昆阳城下，三辅震动，新莽政权土崩瓦解。更始元年九月，绿林军攻入长安，王莽死于混战之中，新朝覆灭。
登基称帝
歼灭王莽立下首功的刘秀则马不停蹄的南下攻城略地，此时一个噩耗传来，刘秀的长兄大司马刘縯被更始帝所杀。哥哥无故被杀，对刘秀来说，无疑是一个莫大的打击，但是刘秀能强忍悲伤，益发谦逊，而且悲愤不形于色，正是彰显出了刘秀的韬光养晦、隐忍负重。为了不受更始帝的猜忌，他急忙返回宛城向刘玄谢罪，对大哥刘縯部将不私下接触，虽然昆阳之功首推刘秀，但他不表昆阳之功，并且表示兄长犯上，自己也有过错。更始帝本因刘縯一向不服皇威，故而杀之，见刘秀如此谦恭，反而有些自愧，毕竟刘秀两兄弟立有大功，故刘秀不但未获罪，反而得封武信侯。但是，刘秀心里明白，即便是一时让更始帝不猜疑自己，以后也可能会得到与兄长刘縯一样的下场，毕竟自己声名远播、功高震主。
建武盛世
刘秀勤于政事，“每旦视朝，日仄乃罢，数引公卿郎将议论经理，夜分乃寐”。在位期间，多次发布释放奴婢和禁止残害奴婢的诏书。为减少贫民卖身为奴婢，经常发救济粮，减少租徭役，兴修水利，发展农业生产。裁并郡县，精简官员。结果，裁并四百余县，官员十置其一。历史上称其统治时期为光武中兴。其间国势昌隆，号称“建武盛世”。刘秀统一中国后，厌武事，不言军旅，公元51年，朗陵侯臧宫、扬虚侯马武上书：请乘匈奴分裂、北匈奴衰弱之际发兵击之，立“万世刻石之功”。光武却下诏：“今国无善政，灾变不息，人不自保，而复欲远事边外乎！不如息民。”。刘秀善待功臣，分封三百六十多位功臣为列侯，给予他们尊崇的地位，只解其兵权。