金朝尚书省臣到地方直接统领军政，称“行尚书省事”。蒙古灭金过程中，曾派达鲁花赤驻燕京，负责中原的刑名和财赋等事。汉人官员沿袭金制，称燕京行尚书省事。元朝建国以后，在中央立中书省，为了处理中央和地方事务，忽必烈相继在首都开平，燕京以及京兆，平阳等地建立“中书省”和“行中书省”的机构。这一时期的“行省”大都属於中书省的临时派出机构，在地方主持政治、经济、军事事务，因事而设，事已则罢，没有相对稳定的治所和辖区。如“陕西等处行中书省”从公元1260年到1273年，先后在京兆、利州、兴元三地往返迁易治所，其管理地区有时包括四川、甘肃，有时则各自分出别立“行省”。
公元1273年，元军大举南下，不久灭宋。南宋旧疆尽归元朝版图，据《元史·地理志》说，当时元朝统辖疆域，“北逾阴山，西极流沙，东尽辽左，南越海表”。如此辽阔的地域，仅靠首都的中央机构及地方临时性行政机构来治理，便显得相当困难了。所以，“行省”开始演变为地方行政区域固定的官府名称。忽必烈灭宋前后，陆续设立河南、江浙、江西、湖广、陕西、四川、辽阳、甘肃、云南、征东等十个“行省”。元成宗大德十一年（公元1307年），又以原中央直辖的蒙古本部置“和林行省”。元仁宗皇庆元年（公元1312年），“和林行省”改名为“岭北行省”。
河南、江北等处行中书省，治汴梁，统河南等12路7府1州。
江浙等处行中书省，治杭州，统杭州等30路1府2州。
江西等处行中书省，治龙兴府、统龙兴等18路9州。
湖广等处行中书省，治鄂州，统鄂州等30路3府15安抚司3军13州。
陕西等处行中书省，治京兆，统京兆等4路5府27州。
四川等处行中书省，治成都，统成都等9路3府。
辽阳等处行中书省，治辽阳路，统辽阳等7路1府。
甘肃等处行中书省，治甘州，统甘州等7路2州。
云南等处行中书省，治中庆路，统中庆等37路5府。
征东等处行中书省，治王京，统耽罗等2府1司、庆尚等5道。
岭北等处行中书省，治和宁路，统北边等处。
以上十一个“行省”管辖着元王朝60％以上的国土。此外，邻近首都部分，包括大都等29路8州（即黄河以北，太行山以东、以西之地）称为“腹里”，直属中书省管辖；吐蕃、畏兀儿地区，则分别归宣政院、大都护府统理。
“行省”的官员设置，名称、品衔大都同中书省。据《元史·百官志七》说：“每省置丞相一员，从一品；平章二员，从一品；右丞一员，左丞一员，正二品；参知政事二员，从二品，甘肃、岭北二省各减一员；郎中二员，从五品，员外郎二员，从六品，都事二员，从七品；掾史、蒙古必阇赤、回回令史、通事、知印、宣使，各省设员有差。”其后怕地方权重，各“行省”多不设丞相。
在十一个“行省”中唯有“征东等处行中书省”的建制较为奇特，它的权限由两部分组成：一是依附于元王朝之“属藩”高丽国；一是直接在元中央统治下的2府1司5道。其行省的丞相，元英宗至治元年（公元1321年）以后，例由高丽王兼领，并可自行选择官属。其下属行政机构与其他行省一致。
“行省”的权力相当大，它负责处理境内政治、经济，诸如刑律诉讼，官吏迁转，赋税征收，甚至还包括带有军事性质的屯田、驿舗等。不少行省因辖境过大，元王朝只好又在离“行省”首府偏远地区以及边境地区设置“宣慰司”、“宣抚司”等官府。宣慰司、宣抚司是介于“行省”与“路、府、州”之间，起上传下达作用。《元史·百官志七》说：“宣慰司，掌军民之务，分道以总郡县，行省有政令则布于下，郡县有请则为达于省，有边陲军旅之事，则兼都元帅府，其次则止为元帅府。其在远服，又有招讨、安抚、宣抚等使”。有时，它还可以代表“行省”，单独处理军政事务。
元代“行省”界限的划分，并没有认真考虑过地理因素。例如归州，地处四川、河南二“行省”之间，却隶于並不与之连界的湖广“行省”；同是处于汉水上游汉中盆地的兴元路和沔州，却分属四川、陕西二“行省”。这样，就使后代在行政区划分方面不得不作很大的调整。所以，尽管明、清两代乃至于现代的“省”最早起源於元代的行省，但各省的界限却很少是元代的旧貌。
至正十一年（公元1351年）以后，农民起义的烽火遍及大江南北。元顺帝为挽救其摇摇欲坠的统治，派出大量官员到地方主持军政。为了便于镇压农民起义军，元王朝陆续把原有的“行省”进行分置，如分河南行省，别置“淮南江北等处行中书省”；分湖广行省，别置“广西等处行中书省”等等。但是，这些“行省”、“分省”的设立对于延续元王朝的政权已无济于事，在农民军的沉重打击下，“雄都巨镇，诸侯王之所封，藩臣臬司之所治；高城浚隍，长戟强弩之所守，环辄碎之，鲜有固其国者”
与此同时，在农民起义军建立的政权里，“行省”也是地方最高的权力机构。如“汉”政权建立过江南、汴梁、陇蜀、江西四个行省；“宋”政权建立过江南、益都、淮安、辽阳、曹州五个行省。
各行省的属官，据《元史·百官志七》载：其中有检校所检校、照磨所照磨、架阁库管勾、理问所理问、都镇抚司都镇抚。而蒙古提举学校官，各行省有的设置有的未置。此外，在两淮、两浙、福建等处设都转运盐使司，四川设茶盐转运司，广东设盐课提举司、市舶提举司。
行省以下的行政区为“路”，各路一般设万户府、总管府，规定十万户以上者为上路，十万户以下者为下路（若是重要地区不论户口多少，均为上路）。各路万户府万户及总管府总管以下属官有同知、治中、判官、推官、经历、知事、照磨、译史、通事。其他还有儒学教授、蒙古教授、医学教授、阴阳教授、司狱司司狱、平准行用库提领大使、织染局局使、杂造局大使、府仓大使、惠民药局提领、税务提领。此外还有录事司录事、司候、判官以专任城中民事。在两京，则设有警巡院。
路下有府，元代的府比较杂乱，有的属於路，有的属于行省，有的直属中书省。有的管辖州县，有的不统州县。一般各府有同知、判官、推官、知事及提控案牍等官。没有设路之散府则设知府或府尹。路府之下设州，有上、中、下州之别，也是根据户数多寡而分。各州设知州、同知等官，边远不设州而设军，其建置与州同。州下设县，也依户数多寡而分上、中、下县。各县设县尹、县丞、簿、尉、典史、巡检等官。
至元二年（公元1265年），忽必烈诏“以蒙古人充各路达鲁花赤，汉人充总管，回回人充同知，永为定制”。蒙古达鲁花赤官早在成吉思汗时即已设置。窝阔台在各地设达鲁花赤，管理行政。元朝建国后，达鲁花赤在地方官中地位最高，但往往不实际管事，成为高居於地方官之上的特殊官员，因而被称为“监临官”。达鲁花赤制的普遍实行，明显地表现出蒙古统治阶级的特权地位。
县以下又分乡、都，设里正、主首，负责催办钱粮，供应杂事。元朝政府还把五十家编为一社，社有社长，负责“教劝本社之人务勤农业”，实则是加强对人民的控制。据《元史·地理志》载，元代在全部版图中，设11个行中书省，分辖185路、33府、359州、1，127县。