出于政治的考量，桓温想把他的对手给叫回来继续当官。他派人给殷浩送了一封信，信上就写着他想请殷浩重新回来当官。殷浩接到这封信非常的高兴，立即表示答应，他提笔给桓温写了封回信。可是他由于太过重视这封信，常常把装进信封的信取出看看有什么错别字或是哪里措辞不当，这样反反复复数十次，结果他一不小心把空白的信封当作要寄给桓温的信送出。

桓温在接到信后打开一看，什么也没有，他非常失望也非常愤怒。他认为这是殷浩对他的挑衅，从此之后的两人更加交恶了。

后人就从这个故事中总结出殷浩书空这个词语，用来表示事件让人感到意外。