在保定境内，有咸丰亲派的僧格林沁等人截堵，李开芳的太平军无法突破防线，只能改从天津进入北京。进入天津境内之后，李开芳与林凤祥商议决定，兵分两路抵抗清军。林凤祥在连镇，李开芳在高唐。清朝的科尔沁郡王僧格林沁是咸丰亲派的围剿太平军的首领。僧格林沁先是在连镇，与天津知县一起大败林凤祥，重伤林凤祥之后将他擒获。接着马上来到高唐，率兵围剿李开芳的军队。

双方实力相差太大，而当时僧格林沁又假说希望李开芳来投降。于是李开芳将计就计，想要立用诈降突围来扭转局势。但是僧格林沁早就看出了李开芳的计划，轻易地将李开芳擒获。李开芳和几个直属部下被押送北京进行审判，其余部下全部就地被残忍杀害。