另一位中央负责同志反映：彭在小组会上说：“如果不是中国工人、农民好，可能要请红军来。”彭作为军队的主要负责人说这个话，严重刺激了毛泽东。毛历来最重视军队，所以毛后来批彭的时候讲：“解放军不跟我走，我就找红军去。”
还有上海市委书记柯庆施汇报：“彭在山上拉队伍，人都快被他拉过去了。”这就引起毛的警惕，认为彭是在向他的领导权和权威提出挑战。后来毛批彭的时候说：“写这封信的目的就在于争取群众，组织队伍。”这样，彭的罪名就升级为“篡党夺权”了。
曾向彭提了三个问题：1.为什么写这封信?是否有些不服气?彭说没有什么特别的目的。2.是否出国访问受了影响?彭说，在国外没谈总路线、“大跃进”的事情。3.对林彪当中央副主席是否有不满?彭说：从未想过这种事。曾希圣失望地说：“这样我们就没法子谈了。”彭也不客气地说：“那就不谈了吧。”
曾希圣提的三个问题，绝不是他个人的行为，而是受毛之命来对彭做最后的争取。但是彭丝毫不给面子，对三个问题一概否认，就使毛认为彭是一意孤行了。因此，毛定了决心，在7月23日大会上对彭进行了严厉的批判。庐山会议形势急转直下，由纠“左”变成了反右倾，并将彭德怀、张闻天、黄克诚、周小舟等人打成“反党集团”。但是，彭在庐山会议上并未屈服。
毛泽东此后连续召集政治局常委会，对彭进行批判。话题早已超出那封信的内容，而是清算历史老账，表明彭在历史上是一贯反对毛的。彭有口难辩，窝了一肚子火，在笔记中写道：“7月23日，毛主席给我一闷棒。这棒叫做‘打右倾机会主义路线’，而且将历史上所有旧账一齐搬出来，再打四十大板，加上右倾机会主义的四十大板，一共八十大板，打得遍体痕伤，两股无肉，然后立案画押不准翻案，不准辩驳，但免推出午门斩首，保留党籍。抓住你这个自高自大的王八旦，整整你吧!以观后效。”
军委扩大会议专门批判彭德怀
庐山会议由讨论经济工作的工作会议转为八届八中全会，专门解决彭德怀等人的“反党集团”问题。虽然作出了决议，但彭本人并未认罪。于是中央决定在北京召开军委扩大会议，到会的军队师以上干部1061人，列席干部508人。主要对彭德怀和黄克诚进行批判。
这次军委扩大会议，始终是秘密进行的。至今很难看到有关的材料。从一些当事人的回忆录中描述的场面，会议过程中，只有北京军区参谋长钟伟少将主持正义，在会场上公开为彭总澄清事实，当场被拉出会场，打成“反革命”。其余众多高级将领，众口一词地猛批彭德怀。彭既然是坚持真理的人，为什么会落到这种地步?从大家的发言来看，大多数都是抓住了彭的工作作风粗暴这个缺点。
在军队干部中，彭的严厉和喜欢骂人是众所周知的。秘书们在陪同他到基层视察过程中，多次目睹彭怒斥下边的干部。1957年8月在山西某地视察弹药库区建设时，看到库区过于暴露，库间距离过密，树木很少时，大发脾气，要追究库区建设的领导者、设计者和审批者的责任。
