卫青的母亲被称为卫媪（卫媪是否为其夫家姓存在争议）。与其夫生有一男三女：长子（卫长君）即卫长子，长女卫孺（《汉书》作卫君孺，《史记》作卫孺）、次女卫少儿、三女卫子夫。后卫媪与来平阳侯曹寿家中做事的县吏郑季私通，生了卫青。

因为生活艰苦，卫青被送到亲生父亲郑季的家里。但郑季却让卫青放羊，郑家的儿子也没把卫青看成兄弟，而是将其当成了奴仆畜生一样虐待。卫青稍大一点后，不愿再受郑家的奴役，便回到母亲身边，做了汉景帝之女平阳公主的骑奴。

有一次，卫青跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“这是贵人的面相啊，官至封侯。”卫青笑道：“我身为人奴之子，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢？”

卫青的一生绝对可以用跌宕起伏来形容，卫青的母亲生下三女一子之后来到平阳侯家做了一名奴婢，在平阳侯的家中，他的母亲与来家中办事的县吏私通，最终才生下了卫青，由于孩子众多，他的母亲无力抚养，卫青就被送至他的亲生父亲那里，可是生父并没有视他为己出，经常打骂，把他当成奴婢一样虐待，随着年纪的增长，小卫青不愿意在过着被奴役的生活，就从生父那里回到了母亲的身边，在平阳侯家中为平阳公主做了一名骑奴。