张耒原籍亳州谯县(今安徽亳州),后迁居楚州(今淮安市楚州区)。马端临《文献通考》作“谯郡人”,秦少游《书晋贤图后》记载:“独谯郡张文潜与余以为不然……”,他在《思淮亭记》中
张耒应约写了《超然台赋》苏轼称他“超逸绝尘”,有秀杰之气,“其文汪洋淡泊,有一唱三叹之声”(《答张文潜书》),这是他们诗文交往的开始。与此前后,张耒与秦观、晁补之也有诗文唱和,结为知交。熙宁六年至元丰八年(1073年-1085年),张耒先后在安徽、河南等地做了十多年县尉、县丞一类地方官,并因秩满改官不断,往来京洛间,为政特别辛劳。“我迂趋世拙,十载困微官”(《悼逝》),“飘然羁孤,挈其妻孥,就食四方,莫知所归”(《上蔡侍郎书》)说的就是这段经历。张耒为官清廉,他本想凭着他那微薄的俸禄养其亲小,淡泊平生,然厄运频频而至,他的父母、前妻相继谢世,家境每况愈下,经济拮据,生活困窘。元丰八年(1085),神宗崩,年幼的哲宗登位,支持旧党的高太后垂帘听政,起用反变法派司马光,苏轼、苏辙相继奉调晋京。元祐元年(1086年)大臣范纯仁荐举张耒参加太学学士院考试。这次被荐参加考试的还有黄庭坚、晁补之等人,由翰林学士苏轼命题,考试结果三人同被拔擢。
张耒被任为秘书省正字,其后历任著作佐郎、秘书丞、史馆检讨,直到起居舍人。元祐二年(1087年)春,苏轼主持礼部贡举,张耒被聘为读卷官,入试院检点审阅举子试卷。元祐三年(1088年),秦观被召到京师,任太学博士,校正秘书,亦入苏轼门下。在暇日与张耒或举酒欢宴,或同游京都名胜,诗文酬唱,作画题跋,互相砥砺,共受苏轼薰沐。这是他们难以忘怀的欢乐年代,也是北宋文坛上的盛事。他们“一文一诗出,人争传诵之,纸价为贵”。馆阁八年,张耒有缘披览国家藏书,过着“图书堆枕旁,编简自相依”的生活,其文翰学术也日有进益。宋哲宗亲政后,新党得势,竭力报复元祐旧臣,随着苏轼等人的被贬,苏门弟子也受到株连。绍圣元年(1094年),张耒在以直龙图阁知润州(今镇江)任上,徙宣州(今宣城)绍圣四年(1097年)贬黄州(今湖北黄冈)酒税监督,再贬复州(宋地名,今湖北天门)监竟陵郡酒税。元符二年(1099年)起为黄州通判。宋徽宗即位,四十七岁的张耒一度内召为太常少卿,后又被启用为兖州、颍州(今阜阳)知州,但为时都很短促。
当时苏轼自海南迁内地,张耒赋诗相庆;“今晨风日何佳哉?南极老人度岭来。此翁身如白玉树,已过千百大火聚。”不久,噩耗传来,苏轼于途中卒于常州。张耒在颍州举哀行服,痛悼一代文豪和恩师。未想竟触怒了上方,于崇宁元年(1102年)被贬为房州(今湖北房县)别驾,安置于黄州,这是他在短短六七年内第三次被贬到那里,他在黄州先后共住了七八年,作为逐臣,他不得住官舍和佛寺,只能在柯山旁租屋而居。荒树枯木,蓬蒿满眼,自然令人惆怅莫名,但“江上鱼肥春水生,江南秀色碧云鬟”,倒也给他不少安慰。特别值得一提的是在柯山脚下,张耒与苏轼弟子潘大临结为紧邻,两人彼此安慰,相濡以沫,共守大节。据载,当时的郡守瞿汝文怜其家贫,欲为其购买一份公田,以种植豆粟蔬菜等,贴补家用,张耒敬谢不取。正是此地