一种说法认为，三国魏首先在中书省设置了“中书通事舍人”，其具体过程，则是先设置了中书通事，至曹髦时在“通事”下加“舍人”二字。但也有一种说法认为，在曹魏，舍人与通事是两个不同的官职。西晋时，于中书省置舍人、通事各一人，东晋时方才合舍人、通事谓之通事舍人，掌呈奏案章，后亦罢废。

南北朝
据《通典》记载，南朝宋初，复置中书通事舍人四人，入直阁内，出宣诏命，凡有陈奏，皆舍人持入，参决于中，实权日重，中书侍郎之任遂轻。南齐永明初年，中书通事舍人四人各住一省，当时称之为“四户”，权势较重，中书监令反倒成了清闲之职。不过，按《旧唐书》的说法，魏晋南朝至梁武帝之前，诏诰均出自中书监或中书令之手，中书通事舍人只负责呈奏，只不过若中书通事舍人长于文字，则皇帝可能特别敕令他参与诏诰的起草。

南朝梁时，令中书通事舍人专掌诏诰起草，并在官名中除通事二字，直称中书舍人。此后，中书舍人参预机密，权势日重。大体在同一时期，北魏、北齐均设有舍人省，置中书舍人，掌署敕行下、宣旨劳问等，亦以中书舍人掌制诰。

隋唐
隋唐时，中书舍人在中书省掌制诰（拟草诏旨），多以有文学资望者充任。隋先改称内史，隋炀帝时曾改称内书舍人。

唐初称内史舍人，不久改中书舍人，掌起草诏令、侍从、宣旨、劳问、接纳上奏文表，兼管中书省事务。《新唐书.百官志二》：‘[中书]舍人六人，正五品上。掌侍进奏，参议表章。武则天时称凤阁舍人。简称舍人。凡诏旨制敕、玺书册命，皆起草进画。’

宋辽
宋初亦设此官，实不任职，另置知制诰及直舍人院起草诏令。中书保为为迁转之阶。元丰改制后，始仍掌其事。如主官中书省六房（吏、户、礼、兵、刑、工），起草有关诏令。辽属中书舍人院。

明清
明朝舍人分为中书科舍人、直文华殿东房中书舍人、直武英殿西房中书舍人、内阁诰敕房中书舍人、内阁制敕房中书舍人5种，均为从七品。其中，中书科本不称科，因与六科均在午门之外，官署相联，时人习惯称之为科。署中设20人，不分长贰，以年长者一人掌印，称“印君”。中书科舍人掌书写诰敕，制诏，银册，铁券等事。文华殿舍人，掌奉旨书写书籍。

武英殿舍人，掌奉旨篆写册宝，图书，册页。内阁诰敕房舍人，掌书办文官诰敕，翻译敕书，并外国文书、揭帖，兵部纪功、勘合底簿。制敕房舍人，掌书办制敕、诏书、诰命、册表、宝文、玉牒、讲章、碑额、题奏、揭帖等机密文书，以及各王府敕符底簿。总之，这些舍人实际任务只是照例书写诰敕而已，此外并没有什么重要职权。

从其沿革看，洪武间，置承敕监、司文监、考功监，参掌给授诰敕之事。永乐初，命内阁学士典机务，诏册、制诰皆属之。誊副、缮正皆中书舍人入办，事竣辄出。宣德初，始选能书者处于阁之西小门，谓之西制敕房。诸学士掌诰敕者居阁东，具稿付中书缮进，谓之东诰敕房。至于直文华殿东房、武英殿西房的中书舍人，最初为内官之职，继而以中书分直，最后则选择能书者充任。

中书舍人来自两方面：由进士部选者，得迁科道部属，其直两殿，两房舍人，不必由部选，自甲科、监生、生儒、布衣能书者，俱可为之；不由科甲者，初授序班，及试中书舍人，不得迁科道部属，后虽加衔九列（卿），仍带衔办事。

明代中书舍人属内阁中书科，掌书写诰敕、制诏、银册、铁券等。明清时于内阁中的中书科，亦设有中书舍人，掌书写诰敕、制诏、银册、铁券等，非前代可比。明代时，中书舍人已为从七品。中书舍人这一官，性质十分难辨，明代制度，富家子弟，尽管一无所能，但可用资捐得一中书舍人，再加一卿衔，便俨然成为高官显爵。如与唐、宋之舍人相较，则有天渊之别。沿至清代，虽不至如此之滥，而中书科中书（删去“舍人”二字）只以荫生，贡监补授，至于内阁中书，则几乎是非进士不可补。

清顺治初年，设中书科，专司缮写册文、诰敕等文书。官员称中书科中书，去掉“舍人”二字，但人们仍习惯旧称。雍正时隶属于内阁。乾隆十四年（1749年），设置满中书2人、汉中书4人、笔帖式10人、供事8人。乾隆三十六年（1771年），又设管中书科汉内阁学士1人。次年，改“管”为“稽查”，增满内阁学士1人。