《史记：太史公自序》说：司马迁漫游回京城后不久就被任为郎中，汉代的郎官无名额限制，多者可至千人，分议郎、中郎、侍郎、郎中四级，其任务是“掌守门户、出充车骑”，从东方朔为郎官是“执戟殿上”看，所谓“掌守门户”也就是值班警卫，那么，“出充车骑”也就是皇帝的贴身护卫。司马迁所任的郎中，是郎官中的最低一级官僚。
不过，郎官既在皇帝身边，有较多接触皇帝的机遇，汉武帝又较能知才而举，所以汉代由郎官出身而后来成为高官的人不少，汉武帝时尤多。这是因为，汉武帝初上台时年轻，朝廷老臣较多，起先汉武帝对朝政的发言权不大，后来可能是从一些大臣的养士之风得到启发，便有意识地加强左右亲信中评议朝政的人才，一以开阔自己的见识，二以在身边形成一支可以与朝臣讨论政事以加强自己发言权的议政力量。汉武帝的这个办法，实在是一举两得的。
汉武帝身边的郎官，如果表现突出，得到欣赏，便有进一步升迁的机会，或是升为大夫，大夫又分太中大夫、中大夫、谏大夫三级，他们仍是汉武帝身边的内廷官僚;或是外放而成为六百石以上的“长吏”，以及成为二千石高官。总而言之，汉武帝身边的郎官或大夫，升迁的机会要远过于一般朝廷官僚。所以，作为郎官，在当时乃是一种相当大的荣幸及机遇。
司马迁作为郎官在汉武帝身边随侍，大致有三四年功夫。这时候，汉王朝经过汉初六七十年的休养生息，国力已大为增强，加之汉武帝雄才大略，对内忙于兴建，制度的兴建和水利宫殿的兴建，对外忙于各类战争，所以，政事上的活动是频繁迭出的。例如，元鼎四年(前113年)汉武帝出巡郡县;次年汉武帝带数万人猎于今内蒙古鄂尔多斯草原，登峒山;元封元年(前110年)汉武帝带主要将领、近20万骑兵巡视西方，寻找匈奴主力决战;同年率百官去泰山封禅(封，是上泰山顶祭天;禅，是在泰山下祭地);元封二年，汉武帝亲率数万民工到今河南洛阳的黄河决口工地，下诏命令文武百官都亲背柴草，身先士卒堵寒决口，终于堵住了黄河决口。这当中的大部分活动，在《史记》中均有详细记载，说明作为郎中的司马迁，此时一直是汉武帝的随行人员，参与了这些活动。这自然大大开阔了司马迁的眼界，增加了他对各地民情风俗的了解。在这当中的元鼎六年(前111年)，司马迁曾奉汉武帝之命出使巴蜀以南。这一带地区，是汉武帝执政后，逐步开辟出来的属地，汉武帝曾派司马相如、公孙弘等人出使过这一地区，司马相如和公孙弘都是汉武帝欣赏的人才，依此推测，汉武帝此时对司马迁的才能已颇有了解。我们从《史记》的《西南夷列传》、《货殖列传》等篇章中可见一斑，司马迁在这次出使中，是十分注重了解风俗民情的。
不过，这次出使的活动，对当时的司马迁而言，其意义并不局限于积累写作素材，因为，它在司马迁的官场生涯上，无疑是展示了一片十分光明的前景。
这要从西南夷地区对当时汉王朝的重要性说起。汉初民生凋敝，百废待举，汉高祖刘邦在打匈奴吃了败仗之后，转而采取和亲政策，可以说是自此确定了在边境问题上采取守势的方针，此后，吕后，文、景诸帝当政时期，对西北境匈奴的态度，主要是防御;对于南方，汉高祖也只要南越领袖去掉皇帝称号，改称王，承认汉廷的中央政权地位，也就满足了。这是总的守势方针的不同表现形式。但是，到汉武帝时，经过六七十年的休养生息，经济实力已大为加强，这必然会在政治、军事上反映出来，所以，汉武帝登上皇帝宝座后，已在逐步变守势为攻势。从一般的军事原则上看，先把弱的、好解决的，逐一解决，而后集中力量对付强敌，乃是一般的规律。所以，能解决好东南地区与西南地区的边境问题，而后集中力量对付西北强敌匈奴，乃是适合政治、军事的一般原则的。我们对汉武帝时期的大局有了这样一个鸟瞰，然后了解，当时的所谓“西南夷地区”问题的解决，对于汉武帝的全局战略上的重要性了。
汉武帝对待西南夷地区的策略，应该说是非常高明的。因为这一地区小国林立，没有特别的强敌，所以，在汉廷的总体策略上，并没有采取武力解决的做法，而是以汉王朝的雄厚的经济实力为诱饵，诱使这一地区的少数民族领袖人物自愿归人汉王朝的版图。当中虽因略有反复而采取军事行动，但动作不大，时间不长，基本上靠物质吸引和口头说服。这一总方针是颇见成效的，《史记·西南夷列传》，正是以司马迁出使的实地考察为根基，记录了这一成的方针及其所取得的硕果。
所谓西南夷，是指分布在今甘肃南部、四川西部及南部和云南、贵州一带的少数民族的总称。司马迁在《西南夷列传》中，先是叙说了历史，战国末季，楚国的宗室、将军庄王曾带兵“威定”这一带地区，恰逢秦国将楚国的相当于今四川、贵州一片地区侵占，庄王与本国隔绝后，一度曾割据西南地区自立为王。后来，秦亦派将领开通道路，将西南大片地区并入版图。至秦亡后，西南又恢复小国林立的原状。
汉初政策重心是休养生息，西南夷地区久与中央王朝断绝来往，所以汉中央王朝对这一地区的了解基本上是一片空白。一个偶然的机缘，汉王朝使将军王恢击东越取胜后，王恢便乘胜派番阳令唐蒙出使南越，南越接待唐蒙时，筵席上有枸酱，唐蒙了解枸酱是蜀地土产，回到长安，便向商人们打听，南越怎么会得到这种蜀地土产的。商人们告诉唐蒙：“蜀地的枸酱，卖到夜郎国，夜郎国在舸江边，江面宽至数百步，可以行船，与南越接壤。南越多给夜郎国财物，能使夜郎国听南越的话，但夜郎亦不愿臣属于南越。”
唐蒙工于心计，也可以说是我国历史上善于通过出使机会获取情报的先行者之一，他在获悉这一情况以后，便上书汉武帝说：“南越王用的是皇帝仪礼，占地东西万余里，名义上是臣属于汉的属国，其实也不过相当于汉之一州。倘若我汉王朝从长沙、豫章(今湖南、江西地区)出兵征南越，水道常断绝而难行。臣听说夜郎国的精兵，有10余万，浮船舸江，出其不意，可以制南越使其归汉。以汉王朝的强大，巴蜀地区的富饶，打通去夜郎国的道路，在那里设置官吏，是十分方便的事情。”
汉武帝同意，于是拜唐蒙为郎中将，带了1000多士兵，另有万人带着粮食和财物一起前往，由巴蜀至夜郎见到了夜郎侯多同，送给他大最财物，果然夜郞候多同愿意臣属于汉，唐蒙回京师报告汉武帝以后，汉王朝便将它改名为键为郡，并且征发巴蜀地区的兵去修路，直通河江。其后，蜀人司马相如也对汉武帝提出，西夷邛、亦可置郡，汉武帝亦任司马相如为郎中将，仿效唐蒙的做法，赐其地少数民族领袖以财物，亦皆置郡。
那时候，后来当丞相的公孙弘刚刚应征对策，策试第一，任为博土，于是汉武帝派公孙弘去西南夷地区视察，公孙弘是儒家观点，认为不应浪费国家的财力、物力以开发边远地区，这类蛮荒之地没有用处，无益有害，应该停止开发西南夷之事，汉武帝没有采纳他的建议。至公孙弘为御史大夫时，汉武帝正集中力量对付匈奴，西南边地总体上亦较安定，公孙弘再次反对开发西南夷地区，认为不宜四处出击，分散国力。这次汉武帝同意了。
其后，汉武帝又派使者去西南寻找传言中的身毒国(当为印度)，未果，使者到了滇地(今云南省地区)昆明就走不通路，不能再向西南去了。
《史记·西南夷列传》中还给后人留下了一句名言：
滇王对汉使者说：“汉和我哪一个大些?”夜郎侯也是这样提问的。因为道路不通，消息闭塞，他们各自以为是一方之主，已经拥有很大的地区了，不了解汉的地区广大。这就是成语“夜郎自大”的出处。
在《史记·西南夷列传》中，司马迁在叙事倾向上，已经申明自己的态度，对汉武帝在西南地区的做法总体上是肯定的，估计这也就是司马迁向汉武帝汇报时的观点。《史记》的叙事中，一直如此，详于此篇即略于彼篇，前后呼应，连成一体。不过，还有一个原因，则是，当他出使回来时，正值父亲司马谈病重，恐怕以他的心情，也不想多 谈这个话题。