李世民有意向进行造反，想推翻隋朝的统治，便找刘文静商量，没想到两个的观念如此相似，正合了对方的心意。顺便插一句，在李渊建立唐朝后，他们俩的关系也是非常好的。李世民让刘文静伪造隋炀帝的诏书，说是要征兵讨伐辽东地区，一下子民心大乱，想要造反的人不断增多。

刘文静想要趁此机会先发制人，并用威胁的语气斐寂让他劝说李渊尽快发兵。于是李渊在晋阳发动兵力来推翻隋朝，又建大将军府，封刘文静为军司马。刘文静建议李渊改旗帜来表现出起义的举动，又提议与突厥联盟，争取更多的兵力，李渊对于他的提议都表示赞同，并命刘文静出使突厥。

刘文静在与可汗的对话中句句表达出对方与唐军结盟的益处，可汗听话十分开心，马上派遣将军率领二千士兵跟随刘文静，还献上了近千匹战马，李渊非常开心。随后刘文静又率领军队攻下潼关，生擒他们的首领。在攻下长安之后，便被封为鲁国公。