刘邦的父亲和卢绾的父亲是好朋友,刘邦和卢绾又是同一天出生的,出生那天,街坊邻居都拿着酒为他们祝贺。两人长大后也是亲密无间,一起上学,刘邦一次受官府追捕,亡命在外,卢绾一直跟随左右。刘邦起义后,卢绾就跟随他在军中,任侍中(贴身副官),出入刘邦的卧室,宠爱与各种赏赐都不是其他人所能比的。
刘邦称帝后,封为长安侯。当时,不是姓刘的异姓王已经有七个了,刘邦有心封卢绾为王,让其他的功臣从此省了封王的这份心思,就示意大臣们提出建议,便封卢绾为燕王。
陈豨反叛后,刘邦在邯郸攻击陈豨,卢绾从另一面夹击。陈豨战败,派人到匈奴求救,卢绾也派张胜到匈奴,告诉他们不要插手。
张胜到匈奴部落,逃亡在匈奴的已故燕王臧茶的儿子臧衍遇见张胜,说:“先生您之所以在燕国受到重用,就是因为熟悉匈奴的事务;燕国之所以能长期存在,就是因为内地各诸侯屡次反叛,兵事连绵,久而不决。如今您为燕国考虑,想赶快灭掉陈豨等人;陈豨等人一消灭,接下来也就轮到燕国,你们也就将成为阶下囚了。您何不让燕王暂缓进攻陈,而与匈奴和好?情况缓和,便可以长期在燕称王;一旦汉廷有急变,也可以借外援保全本国。”