史载，秦始皇的母亲赵姬行为很不检点，先是做投机商人吕不韦的小妾，怀孕两个月(多数人认为怀的就是后来的秦始皇)后，又被吕不韦献给秦国的王孙子楚，子楚继位后称庄襄王，庄襄王死后，身为太后的她仍经常与吕不韦重温旧情。

《史记·吕不韦列传》中记载：“始皇帝益壮，太后淫不止。”后来她又与嫪毐私通，并生下两个儿子。

母亲的失检行为令秦始皇恼羞愤怒，无地自容，使他心理压抑，性格变得极为复杂：内向、多疑、妄想、专制、暴虐、冷酷无情，把他变成了一个失去理性的暴君，最后彻底爆发，杀了两个私生子弟弟;将嫪毐五马分尸，暴尸示众;将其母赶出咸阳。

因母亲带来的心理阴影一直伴随着秦始皇，而且由对母亲的怨恨，发展和泛化成对一切女人的仇视，他对统一六国后收入后宫的众多佳丽非常鄙视，痛恨她们抛弃亡国之辱而媚悦新主的行径。

所以说，由母亲的行为而形成的心理伤害和心理扭曲，由怨母而仇视女人，是秦始皇一直不立皇后的一个重要原因。