然而，这好运说来就真的来了，挡都挡不住；当然，好运到来之前，是要先吃些苦头的。建元二年（公元前139年）春，被武帝看中的卫子夫被带入了宫中。不想却是备受冷落。建元三年，武帝终于想起了卫子夫，便再次临幸了她。不久，卫子夫怀孕了。母以子贵。卫子夫怀了龙种，武帝自是高兴，待她很是恩宠，这还不算，连带她的家人，都得到了好处。卫青则由平阳公主府上的一个骑奴，升迁为建章宫一个有名分的侍卫。从一个奴隶到一个皇宫侍卫，这可谓跨越了人生的一大步，虽然原由不甚光彩，不过事实将证明，这是历史上最有价值的裙带关系。
这一年，霍去病近三岁了。他的父亲叫霍中孺，也是河东平阳人，曾以县吏的身份被派到平阳侯家当差。这期中，卫青的二姐卫少儿与霍中孺对上眼了，也是十月怀胎之后，卫少儿生下了霍去病。然而，霍中孺完成任务之后，径直回家，估计以前的山盟海誓早忘却了，便另外娶妻，生子霍光，从此与卫少儿不再来往。卫少儿那个恨呀，自此在霍去病面前绝口不提霍中孺，是以很长一段时间霍去病都不知自己的生父是谁。
待卫子夫得宠之后，卫少儿也得以翻身，不再是地位低下的侍女了，是以霍去病的待遇也变好了，再无人敢当面辱骂他是私生子了，生活也不再窘迫了。事实也将证明，这也是历史上极其有价值的裙带关系。