晋武帝太康初年,侍御史郭钦请徙胡族於塞外,并以汉人实边以绝胡患,武帝不纳。惠帝元康元年,山阴令江统作《徙戎论》谓,若不立刻徙胡,晋室岌岌可危。亦不为惠帝接纳。当时形势已积重难返,既无法徙胡,即使要他们“各附本种,还其旧土”,亦不可能,故所有徙胡之议,成为一纸空文。加上政府容许胡人移入,却不教化,只有加深胡汉两族的矛盾;又以胡人为兵,这情况於八王之乱时更普遍,如王浚,司马腾用鲜卑人,成都王则用匈奴。在用胡策略下,胡人尽知西晋国力虚实,只要时机一到,便起兵作乱。
永兴元年(304年),匈奴贵族刘渊起兵於离石(今属山西省),国号汉(后来的前赵)。晋怀帝永嘉四年(310年),刘渊死,其子刘聪继立。次年四月其将石勒歼晋军十余万人于苦县宁平城(在今河南省鹿邑县),并俘杀太尉王衍等人。同年刘聪又遣大将呼延晏率兵攻洛阳,屡败晋军,前后歼灭三万余人。六月呼延晏到达洛阳,刘曜等人带兵前来会合,攻破洛阳,纵容部下抢掠,俘虏怀帝,杀太子司马诠、宗室、官员及士兵百姓三万余人,并挖掘陵墓和焚毁宫殿,史称“永嘉之乱”。此后150年里五胡十六国换流侵占中原,屠杀汉人,经济文化遭受重大打击。大量人口为避战乱从中原迁往长江中下游,史称“衣冠南渡”,中国古代经济中心进一步迁往南方。
司马氏建立的晋朝是中国历史上唯一一个无功掌权,弑君篡位,骄奢淫逸,毫无建树,第一个被外族灭国的国家。晋朝开启了中国历史上最黑暗的时代。