汉武帝的第二任皇后是卫子夫，在野史上，汉武帝是在如厕的时候看上卫子夫的。据野史传闻，卫子夫的头发非常漂亮，容貌虽然不是非常美丽，但却有我见犹怜的气质。

汉武帝最宠爱的第三个女人是李夫人，她非常美丽，后来却因病去世了。在野史上记载，汉武帝一直思念李夫人，后来有个道士来告诉汉武帝可以用一种石头来招到李夫人的魂魄。汉武帝派人找到了那种石头，于一个晚上在帐幕后面看到了李夫人的影子。这只是个野史传闻，真假很难辨别。

据汉武帝野史传闻，汉武帝还很喜欢男色。韩嫣是汉武帝的陪读，容貌柔美，很像妇人样子，据传汉武帝经常同韩嫣同塌而眠。据传闻汉武帝还宠爱宫廷乐师李延年。李延年是净身后进宫侍奉汉武帝的。