不久李密又向翟让建议说：“昏君蒙尘，在吴越一带流亡，各地武装力量竞相起事，全国百姓正闹饥荒。您凭着杰出的才干，统率着骁勇强大的军队，应该平定天下，消灭各处敌兵，怎能躲藏在民间苟且偷生，永远当小小的流寇就了事呢。现在东都洛阳的士民百姓，里里外外离心离德，留守京城的官员，政令不能统一。您亲自统率强大的兵众，直接去袭击兴洛仓，散发粮食救济穷苦百姓，各地群众谁不归附?百万人马，一个早晨就能招集起来，抢先下手制服别人，这个时机不能错失!”翟让说“：我出身于农民，声望还没到这一步，一定要实现您所讲的目标，就请您率先出兵，我带上各支队伍作为后续力量。夺取兴洛仓后，再作商议。”

　　开仓赈民

　　大业十三年(617年)春天，李密和翟让带领七千名精兵从阳城向北出发，跨过方山，从罗口袭击兴洛仓，攻克了。打开仓库听凭百姓拿走粮食，连老人妇女也背着孩童赶来，路上络绎不绝，多达几十万人。

　　越王杨侗派遣虎贲郎将刘长恭率领步兵骑兵二万五千人讨伐李密，李密一举打败了他，刘长恭仅以身免。翟让于是推举李密当首领，称作魏公。这年二月，在巩县城南郊外设立祭坛，祭天登位，年号称作永平元年，下发的文书落款为行军元帅魏公府。任命房彦藻为左长史，邴元真为右长史，杨得方为左司马，郑德韬为右司马。授予翟让司徒官衔，封为东郡公。任命单雄信为左武侯大将军，徐世勣为右武侯大将军，祖君彦为记室，其余的人各按等级授予官职。于是以洛口为都城，在环绕洛口四十里的区域里驻扎下来。

　　山东长白山贼寇首领孟让带领人马归附李密，河南巩县长史柴孝和、侍御史郑颐献出县城投降李密。隋朝虎贲郎将裴仁基带着儿子裴行俨献出武牢归附李密，授予上柱国官衔，封为河东郡公。李密就派裴仁基和孟让率领三万多名兵卒袭击回洛仓，攻克了，乘胜打进洛阳，抢掠居民，焚烧天津桥，洛阳隋军乘混乱的机会出兵反攻，裴仁基等人大败，只是保住了自己的性命。李密又亲自率领三万兵卒进逼洛阳，隋朝的将军段达、虎贲郎将高毗、刘长林等人指挥七万人马抵御，在洛阳老城作战，隋军败逃。李密回头夺取回洛仓据守，大修营垒战壕，威逼洛阳，还撰写檄文到各个郡县公布隋炀帝的罪状。

　　屡破隋军

　　不久，郑德韬、杨德方都死了，又任命郑颋为左司马，郑虔象为右司马。柴孝和劝说李密道：“关中以高山为屏障，以黄河为天堑，项羽离开这里就灭亡了，刘邦在这里建都就成功了。照我的想法，让裴仁基镇守回洛仓，翟让镇守洛口仓，您亲自挑选一支精锐队伍，向西突袭长安，百姓谁不到郊外来迎接，定会不用打仗就到手了。攻克西京之后，等根基牢固兵马强壮，才回头径直攻打东西崤山和函谷关，攻克东都洛阳，传递文书发令调遣，天下可以平定。只是如今英雄豪杰争先恐后地起兵，实在担心别人抢在我们前头，一旦错失机会，后悔哪里来得及!”李密说：“您这个方略，我也想过很久了，实在是个上策。但是杨广还在，追随他的军队还很多，我的队伍，都是山东人，既然知道还没有攻克洛阳，哪里愿意跟着我向西进关?各位部将都出身于绿林好汉，把他们留下会各自称王称霸。如果这样，就全完了!”

　　李密倚仗部队气势勇猛，往往进入皇家园林跟隋军连续交战。在李密被乱箭射伤，躺在营帐里的时候，洛阳城里的隋军乘机偷袭，李密的兵众四下逃散，放弃了回洛仓，集中到了洛口仓。隋炀帝派遣王世充率领五万名精兵强将进攻，李密迎战失利，柴孝和掉进洛水淹死，李密哭得极度悲痛。王世充在洛口仓西边扎营，跟李密对峙了一百多天，大小战斗打了六十多次。武阳郡丞元宝藏、黎阳义军寇首领李文相、洹水义军首领张升、清河义军首领赵君德、平原义军首领郝孝德，一同归附了李密，联合袭击，攻克了黎阳仓，占领了它。永安首屈一指的豪富家族周法明献出长江黄河之间的大片封地投靠李密。齐郡的义军首领徐圆朗、任城县的大侠客徐师仁、淮阳郡太守赵佗都归附了他。