自此，关羽和刘备、张飞结下了深厚友谊，并且不辞辛苦地保护刘备的安全。公元194年，曹嵩被杀害，曹操得知后迁怒于陶谦并下令将士攻打徐州。陶谦惶恐曹操的军事实力，变向刘备求助。刘备得知后，和关羽率领士兵前往徐州救援陶谦。等到曹操军队退走后，陶谦封刘备为徐州牧。公元196年，袁术和吕布决定合作讨伐刘备，刘备在两军的夹攻下，徐州被袁术和吕布占领。刘备带着关羽一起去投奔曹操，曹操早已得知刘备和关羽一位有智谋，一位很勇猛，对俩人也很重视。一次关羽和刘备陪曹操在许田狩猎，关羽让刘备借机杀害曹操，但是刘备认为曹操和自己有共同的目标，便没有杀掉曹操。

公元198年，刘备和曹操共同攻打吕布，将吕布杀于下邳城白门楼，曹操得到了徐州。随后，关羽和曹操回到了许昌，曹操得知袁术投奔袁绍后，让刘备在徐州截下袁术。刘备借机让关羽守卫徐州一带。关羽在曹营数次立下大功，因和刘备有约便舍弃了曹营，一直伴随刘备左右。后来，刘备在汉中称王，拜关羽为前将军。