杨坚平定叛乱之后，统一天下的对手只剩下南方的陈朝和位于江陵一隅之地的西梁。开皇七年九月十九辛卯日（587年10月26日），废西梁后主萧琮，西梁亡。开皇八年（588年），杨坚以杨广出六合、杨俊出襄阳、杨素带领水军出永安，共五十一万八千大军，三路大军伐陈。八年十二月杨素沿长江击破陈的沿江守军，顺流而东。但因为施文卿、沈客卿等扣留告急文书，导致陈朝无法把大军从建康调出。
    公元589年2月10日（开皇九年正月二十甲申日），陈将任忠引韩擒虎攻入建康城，捉住陈叔宝，陈朝灭亡。
    不久，各地陈军或受陈后主号令投降、或抵抗隋军而被消灭，只有岭南地区受冼夫人保境据守。
    公元590年（开皇十年）八月，隋派使臣韦洸等人安抚岭南，冼夫人率众迎接隋使，岭南诸州悉为隋地。至此，天下一统。
    杨坚建立隋朝，统一中国，定都长安（大兴城），开创了辉煌的“开皇之治”。结束了自西晋末年到隋统一前近300年的分割割据状态，实现了自秦汉以来中国的又一次统一，使北方民族大融合，南方经济发展；他首次实行了一直沿袭到清朝的三省六部制；他开创了科举；他制定了当时最为先进并影响后世基本立法的律法《开皇律》。
    去世
    杨坚晚年颇受诸子的困扰。先是软禁三子秦王杨俊；接着在公元600年（开皇二十年），将长子太子杨勇贬为庶人，改立次子杨广为太子；又于公元602年（仁寿二年），将四子蜀王杨秀贬为庶人。
    公元604年（仁寿四年），杨坚病逝于大宝殿，在位23年，终年64岁，葬于泰陵（今天陕西省杨陵区城西5公里处）。