随后，慕容白曜又率军直逼升城(今山东长清西南)，宋将房崇吉用不到700人的兵力死守3个月，屡次挫败北魏数万大军的攻城。到了公元467年四月，魏军攻克升城，慕容白曜忿恨房崇吉不降，又想杀尽城中军民，这时魏参军韩麒麟劝阻说：“今勍敌在前而阬其民，自此以东，诸城人自为守，不可克也。师老粮尽，外寇乘之，此危道也。”白曜又采纳了他的建议，安抚了当地的居民，使其各复其业。由此看来，北魏军队所攻克之处，大都采取了较为温和的抚恤政策，也使其统治基础得以逐步稳固起来。尽管魏军的征服手段和统治政策比以前有所改观，但这并不是说魏军没有遇到抵抗。事实上慕容白曜的进攻遇到了顽强的抵抗。九月，慕容白曜亲自统帅大军围攻历城崔道固，同时又派平东将军长孙陵进攻东阳沈文秀。崔道固坚守，沈文秀先是请降，慕容白曜欲派兵前往收编，但左司马郦范却认为其中有诈，劝其先攻取历城，然后再取盘阳(今山东临朐县东南)、梁邹、乐陵(今山东乐陵县东南)，最后再挥兵东进，不怕沈文秀不屈服。当长孙陵率军进入东阳西郭后，纵兵抢掠，沈文秀果然闭城拒降，使魏军遭到了失败。

　　公元467年末，宋朝廷任命驻守梁邹的幽州剌史刘休宾为兖州剌史，据守团城的辅国将军张谠为东徐州剌史。但没有强兵支援，所以刘宋此举也于事无补。泰始四年(公元468年)二月，慕容白曜攻下历城东城，崔道固投降。就在这前后，刘休宾、张谠等也相继投降。攻下历城后，慕容白曜率军围困东阳，这期间，沈文秀虽有过动摇，但仍然坚持守城，没有投降。据历史记载：“文秀被围三载，外无援军，土卒为之用命，无离叛者，日夜战斗，甲胄生虮虱。”泰始五年(公元469年)二月，慕容白曜终于攻下东阳，沈文秀兵败被俘。刘宋在山东的最后一个堡垒被攻破了。魏宋双方在山东地区长达几十年的争战也宣告结束了。今天山东境内的兖、青、冀以及徐州都被北魏占有。刘宋南撤淮河以南，再也没有涉足山东。慕容白曜因为有功，被北魏任命为都督青、齐、东徐之州诸军事、征南大将军、开府仪同三司马、青州刺史，进爵济南王，成为山东地区的最高统治者。在慕容白曜平定青齐的过程中，有一重大举措，这就是平齐户。

　　在北魏与刘宋的战争中，北魏将俘虏的山东豪族强行迁到北魏京城，这些人称平齐户的山东人户。

　　自南燕以来，青齐地区一直是当地豪族武装的纵横之地，世家大族的势力十分强盛。像泰山羊氏、东平毕氏、清河张氏和宋氏，都是世代土著大姓，他们都拥有私家部曲和僮客。慕容德入主青州时，曾迁入了一大批河北豪族(主要是今山东武城、平原一带人)，这些豪族凭借宗族和乡里关系控制随行南迁的人们，同时又使大量外来的和本地人民成为他们的荫户，从而在青齐地区又形成了另一种豪强力量。其中著名的有崔氏、刘氏、王氏、房氏、傅氏等。他们在不长的时间里便被认作是青齐地区的“土民”，并享有优势的政治地位和经济特权，其势力也不断扩张。南燕灭亡后，青齐地区仍然由这些大姓们所控制，刘宋政权在青齐统治的55年间，也全力依靠这些青齐豪强，青齐豪强的私人武装成为当地州郡镇的戌军，也成为守卫青齐的主要军事力量。北魏征服青齐之际，遇到了当地豪强力量的顽强抵抗，因而在军事胜利之后，北魏统治者高度重视青齐豪强的潜在力量。于是，北魏决定“徙青、齐民于平成，置升城、历城民望于桑乾，立平齐郡以居之;自余悉为奴婢，分赐百官”，以此方法来拆散和消除青齐大姓的势力。慕容白曜从公元467年出兵山东，作战历时两年，迫使历城守将崔道固、梁邹(山东邹平县)守将刘休宾投降。然后将所俘降将、僚属及两城居民送至魏都，并在平城(今山西大同)附近新设“平齐郡”用来安置从山东迁徙来的居民，所有被迁人户均称之为“平齐民”，受到严格的控制。除一部分分赐给百官做奴婢外，其余都被迫从事垦植耕作，不许自由迁徙。事实上，平齐民也分为不同的等级，北魏按照阶级、社会地位和降拒态度分别给予不同的待遇。第一等是“客”，其大部分是刘宋的高级地方官和将军，其中降服最先的为上客、次客，先守后降的为下客。第二等是一般地位的地主豪强，他们被当做“平齐民”而被送入“平齐郡”。最下等的是曾经拒守死战的士兵和民众，他们全部成为北魏百官和功臣的奴婢。