原指观看下棋时不准在旁边插嘴。西晋·张华的《博物志》记载，帝尧造了围棋来教他的儿子丹朱。据此推算，围棋已有4000多年历史。围棋也叫“乌鹭”，用乌鸦代表黑，以白鹭表示白，“乌鹭交战”就是指围棋盘上黑白子对弈。

据说，黑白两色的围棋子，象征日月，表示阴阳二气。棋子的圆形模拟浑圆的天象穹苍，棋盘的四角比喻地象，交织成361个棋位，表示旧历一年的天数。当中有九个星点叫做势眼(或星眼、井眼)表示九大行星。围棋盘的高度为一尺二寸，正好表示12个月。白子表示白昼，黑子表示黑夜。黑子先走，表示一天从半夜的子时开始。黑白相对，表示阴阳应对之气。阴阳对应不得混入他物，因此下围棋时不许观战者在旁插嘴。后来“观棋不语”逐渐成为有良好教养的表现。

明·冯梦龙《醒世恒言》卷九：“观棋不语真君子，把酒多言是小人。”“观棋不语”从此流传至今。