在粟裕的建议里，他把战役分为两个阶段，第一步是攻占两淮，如果敌军不来增援或者增援被我方阻档或歼灭，那么就进行第二步，就是攻占海州和连云港。所以，他把这场战役称为淮海战役的原因，就是这两个阶段的简称，“海”是指两淮，也就是淮阴和淮安，现在就是淮安市，而“海”是指海州，现在就在连云港，而这些地方在历史就是被称为“小淮海”。

不过粟裕的建议还只是草案，之后无论是在计划中，还是发动后国民党又投入兵力，都使淮海战役的规模越来越大，战场也越来越大，最后是以徐州为中心，东起海州，西至商丘，北起临城，南达淮河。

淮海战役是中共方面对这场战役的称呼，而作为应战方的国民党则不这么叫，他们称之为徐蚌战役。这也是两个地名，“徐”指徐州，“蚌”指蚌埠。这么称呼是因为，国民党方面在应战前所作的部署就是，集中优势兵力在徐州和蚌埠之间的津浦铁路线做战略防御。这其实是他们在召开作战会议时白崇禧提出的两种作战方案中的第一个。而蒋介石倾向的是第二个，也就是放弃现在的徐州，退到淮河进行防守。