隋开皇元年的时候，战乱不断，来护儿便有投军，建功立业的想法。在贺若弼出镇广陵的时候，他便投奔隋军，不久就升做了大都督。高智慧在江南起兵反抗隋朝的时候，他跟着杨素去平乱，来护儿以奇兵突袭，杨素从正面攻击，大破叛军，所以在平定高智慧的余党后，来护儿因为有功成了大将军，还升任泉州刺史，被皇帝封为襄阳县公。后来，来护儿因同蒲山公李宽讨伐叛军汪文进，被封为永宁郡公。