宇文泰通过广募豪强以充军旅这一措施，把这些分散的乡兵武装变成中央军队的一部分，由政府选择关陇地区有名望的人物来统领，从而，既加强了中央对军队的控制，削弱了北魏末年以来的地方势力，又促进了武川军人集团与关陇地主的联合。此后，到大统十六年(550年)，又进一步把征兵对象扩大为所有的均田户，这样，西魏军队中汉族士兵的比重进一步增加。

　　同时，宇文泰又对军队统辖系统进行改革，形式上采取鲜卑旧日的八部东西魏潼关之战之制，立八柱国。除宇文泰自己在大统三年(537年)由西魏文帝拜为柱国大将军、都督中外诸军事，为西魏军队的实际统帅外，又在大统十四年(548年)以西魏宗室广陵王元欣为柱国大将军，但仅挂虚名，并无实权。另任命赵贵、李虎、李弼、于谨、独孤信、侯莫陈崇六人为柱国大将军，实际统率六军。每个柱国大将军下有两个大将军，共十二大将军;每个大将军下有两个开府，共二十四开府;每个开府下有两个仪同，共四十八仪同;一个仪同领兵约千人，一个开府领兵两千，一个大将军领兵四千，一个柱国大将军领兵八千，六柱国合计有兵四万八千人左右，这支军队，就是历史上所说的府兵。

　　府兵的前身，由贺拔岳的武川军团、侯莫陈悦军团中的李弼军团以及随孝武帝入关的北魏宿卫禁旅这三部分组成，这些军队都是鲜卑化的军队，尤其是武川军团，前身是六镇鲜卑，大都是拓跋族成员，随著拓跋族的封建化，他们的地位下降，因此，他们参加了六镇起义和河北起义;但是，他们又错误地认为是汉化导致他们的地位下降，而看不到汉化是历史的进步和必然，竭力想回复到原来的氏族部落关系中去，宇文泰出身武川军团，对这种心理十分了解。

　　因此，在建立府兵时，就采用了鲜卑族原有的部落组织，即八部之制，作为编制新军的蓝本。在士兵和军官之间的关系上，保持鲜卑旧日的氏族关系。西魏恭帝元年(554年)，又以有功诸将继承鲜卑三十六国及九十九姓，除有的将领本来就用鲜卑复姓的不予更动外，那些已经在太和改制时将复姓改为单姓的将领则重新改为复姓，已采用汉姓或本来就是汉姓的，则赐以鲜卑姓，如李虎赐姓大野氏、李弼赐姓徒何氏、赵贵赐姓乙弗氏、杨忠赐姓普六茹氏，凡所统领的士兵皆以他们主将的鲜卑姓为自己的姓氏。

　　宇文泰借用氏族部落的血缘纽带来组织府兵，使官兵之间蒙上了一层宗族的亲密色彩，以搞好将领和士兵间的结合，提高府兵的战斗力。事实上，府兵的组成，并没有也不可能真正倒退到氏族关系中去，但由于这种兵制多少带有一些过去部落兵制的色彩，因此从那些曾经沦落为兵户的六镇鲜卑来看，身份提高了，地位改善了，从而使府兵的战斗力也增强了。

　　宇文泰善于谋略和指挥。在军事上主要依靠来自北镇尤其是武川的镇人，他们以后成为西魏、北周政治上的支柱。宇文泰与东魏多次作战，互有胜负。大统三年(537年)春，东魏攻潼关，宇文泰率精锐出潼关左面的小关，攻其不备，大败东魏军，东魏大将窦泰自杀。秋间，东魏十万人进至沙苑(今陕西大荔南)，宇文泰以不满万人的弱势兵力，乘东魏军轻敌不为行列，亲自鸣鼓奋战，获得大胜，俘虏七万人。西魏军曾两次进到洛阳。大统九年(543年)，邙山之战，宇文泰率军黑夜登山进击，高欢仅而获免。次日再战，宇文泰军不利退还。西魏财力兵力都不如东魏，军事上以守势为主，如玉壁城(今山西稷山西南)曾多次抵抗东魏来攻。西魏的东境，大体与东魏以黄河为界。