济南被解放军攻占以后，国民党的防御方针告败，徐州地区的剿匪总司令部收缩兵力，集结了第2、7、13、16这四个兵团，以及第1、3、4、9这四个绥靖区部队，一共25个军共计80万人，围绕徐州展开，沿着津浦与陇海两条铁路，形成一个冬至海州，西临商丘，北达临城，南到蚌埠的一个“一点两线”防御阵线，以此来加强防御，在中原与华东一带采取固守战略。

在指导员方面，蒋介石多次表示希望擅于指挥大兵团战役的具有“小诸葛”之称的白崇禧能够总指挥这场战役，但是由于国军已经在这场战役中处于完全被动的地位，白崇禧认为这是一场胜算极低的战役，因此坚决拒绝了。而在前线战事指挥方面，蒋介石原本希望徐州剿匪副司令官杜聿明能够指挥这场战役，但是由于他被紧急调往东北，因此蒋介石无奈之下选用了自己比较信任的可靠人选刘峙来指挥这场战役。但是刘峙本人缺乏指挥大兵团作战的经验和能力，因此国民军从刚一开始就在指导员上处于不足之地。

从白崇禧推辞指挥到解放军全面发动淮海战役，之间仅隔了6天，这对于国军来说是十分被动的，因此整场战争他们都处于被解放军牵着鼻子走的地位。