李世民非常留恋江都的繁华，自武德初打下洛阳时就被其豪华的宫殿所震撼，贞观一朝有十多次巡幸江都;贞观末年备受李世民信赖的李大亮死前进谏，劝其以关中为意，以宗庙为重，不要效仿隋炀帝南巡。

　　贞观四年，有关部门在没有巡幸计划的情况下征集百姓修缮洛阳宫，给事中张玄素以当前朝廷所急不在宫殿为由劝李世民停止征役，又言修缮所费计以万财，而今之府库不如隋十分之一，当年陛下攻下洛阳城时曾下令毁掉一些宏伟建筑，如今不到十年又重新修缮，为何前日恶之而今日效之，张玄素越说越激动，竟放言："如若继续如此大兴土木，则陛下之恶甚于隋炀帝!"

　　最后这句话惹怒了李世民，不禁反问："我不如隋炀帝，那何如桀、纣?"张玄素与魏征同门，牛脾气上来了丝毫不弱于魏征，因此当着满朝文武直视李世民：道："此役不息，亦同归于乱耳。"

　　李世民在众目睽睽下服软了，就给自己找了个台阶下："洛阳中土，朝贡道均，意欲便民，故使营之。"说完又向张玄素保证："后日或以事至洛阳，虽露居亦无伤也"，言外之意就是"睡在大街上我也不修洛阳宫了!"

　　李世民是大唐创业之君，袭亡隋之弊，国家百废待兴，因此每一笔钱都要用在刀刃上;贞观四年突厥刚刚平定，李世民采用中书令温颜博的建议，迁数十万突厥百姓于塞下，欲效仿汉武故事，使突厥诸部成为中国北方的防御屏障，此举即可平添数十万人口，又可以充实中国北方荒芜之地。

　　而这种做法遭到当时许多重臣的反对，其中魏征、李百药、李大亮等人都认为北方胡人"戎狄之性，有如禽兽"，不能用仁义道德教化，如果贸然迁之于内地，数十年后蕃息倍多，中原土地将沦为"毡裘之域"。然而温颜博的计划实在太具有诱惑力了，当时中国人口在三千万左右，广袤的土地等着人去开垦，若化胡为民数十年后效果绝对令人大吃一惊。

　　李世民实在无法拒绝这个建议，于是开始大量内迁突厥人民，并派李大亮为西北道安抚大使督运中国粮草接济突厥灾民。除了内迁胡人，李世民大量提拔突厥降臣，令他们担任大将军一职，其余一些小酋长皆拜将军、中郎将等职，据《资治通鉴》记载当时五品以上布列朝堂的胡人官员就有上百人之多，"殆于朝十相半",当然这些人不可能掌控实权部门，另外随着这些人入朝的还有家眷奴隶等相关人员，其人数也不下数万。

　　李世民内迁胡人和封赏突厥的行为着实加重了中国人民的负担，仅一个长安就平添数万张嘴吃饭，并且还不会产生直接的经济价值，这需要多少百姓才能养活他们，令外迁入关内的突厥不善于耕种，国家要不断从内地调运粮草，正如李大亮所说"虚内致外，竟损无益"。

　　也正是在这种政治背景下，李世民还下令修缮洛阳宫，可能被"胡越一家"的盛世冲昏头了，以张玄素为首的"愤青们"自然不能惯着他，"陛下今处突厥于中国"、"岂得不先为忧，而宫室可遽兴，乘舆可轻动哉。"换句话就是说："当前的大唐什么情况，自己心里没点数吗!"李世民虽然气愤但意识到问题的严重性后也不得不低头认错，一时激动才说出"虽露居亦无伤也"的话。