北朝军队的基本编制是军、幢、队、什、伍。 
    军是北朝军队基层编制的最高一级，军设军主、军副各一人，统率全军。一军所统兵数，没有明确记载。北魏建国之初，曾设置军府，每军配兵5000人，但这似非北魏常制。从一些散见史料看，北魏一军的正常编制，大约为千人左右，当时有所谓“千人军将”的称呼。这里的军将，大概即是指军主或与军主同一级别的统兵官。又当时的柔然军制，是以“千人为军，军置将一人。”柔然与北魏军制虽未必有直接的关系，但二者处于同一时代又相互交战频繁，相互之间产生影响是极有可能的事。因此，柔然军制可以作为北魏军制的参证。东魏北齐在制度上多循北魏，军的编制应与北魏无大差别。西魏北周府兵制下的仪同将军所统一军亦为千人。大体说来，北朝时期一军的兵力为千人左右。 


    军以下的编制是幢，幢设幢主、幢副各一人，统领全幢。《隋书·百官志中》记载北齐官制，以军主、副，幢主、副为序列，记军主官品为从七品，军副为从八品，幢主为从九品，每级相差一品。由于军、幢是序列关系，所以当时常“军幢”连称。一幢所统兵数，也没有明确记载。柔然军制是以“百人为幢”，但据《宋书·索虏传》记载，“（汝阳）城内有虏一幢，马步可五百。”则北魏一幢兵力远不止百人。大体来说，其一幢似有兵力数百人。 
    幢以下有队的编制，队有队主、队副，统带全队。北魏孝武帝时，朝廷派台使至岐州，因“驿逻无兵，摄帅检核”。岐州刺史元谧队主高保愿“列言所有之兵，王皆私役。” 一队所统兵数，史籍也没有明确记载。值得注意的是，北魏军队中“队”的这一编制有些特例。如皇太子的卫队，其地位要高于一般的队。从官品上看，皇太子的二卫队队主为从五品，诸队主为从六品，二卫队队副为从七品，诸队队副为从八品 。这里的卫队队主地位比军主要高2品，诸队主比军主高1品，而军主的品级仅相当于二卫队队副。这里的队显然非一般建制的队。 
    队以下是什、伍等传统基层建制。以上幢、队所述主要为北魏军队编制，但东魏北齐大体同于北魏，西魏北周早期军制与北魏略同，后期虽建有府兵，其军队基本编制与北魏大致相同。