眼看着他所率领的一千余骑兵也即将被全歼，形势正危急时，恰巧燕王的救兵及时赶到，匈奴人这才退去。其时雁门郡也遭到了匈奴人的袭击，被害和被俘者达一千余人。
损失如此巨大，武帝岂能甘心，急令卫青率三万骑出雁门，李息部出代郡，袭击匈奴。此一役，卫青部斩杀和俘虏敌军达数千人。
元朔二年，卫青部沿着云中郡的西部，到达陇西，出塞后，攻打匈奴位于黄河河套南岸地区的楼烦、白羊这两个部落，得胡首虏数千，牛羊百余万。于是汉军顺势夺取了河南地。苏武之父、将军苏建依令领人修筑朔方城（今内蒙古乌拉特前旗东南），又修缮了秦时蒙恬所修建的关塞，凭借着黄河天险，修建了一条坚固的防线。与此同时，汉廷放弃了上谷郡的与匈奴地界交错而曲折偏僻的县，如造阳一带，都给予了匈奴。迁出来的居民，则补入新置的县，以加强防卫力量。
回朝后，武帝封卫青为长平侯，食邑三千八百户；苏建为平陵侯，张次公为岸头侯。
这年冬天，匈奴军臣单于逝世。军臣单于的弟弟左谷蠡王伊稚斜自立为单于。太子於单自是不服，率部与之对抗，却处于下风，逃无可逃，只得投降汉廷。来者不拒，武帝热烈欢迎，封於单为涉安侯。然而，走到这一步，得到这个结果，并不是於单想要的，当然心不甘情不愿，却又无可奈何，是以终日郁郁寡欢，数月不到，便生病去世了。武帝惋惜一番，厚葬了他。
元朔三年（公元前126年）的夏天。伊稚斜单于的地位已经稳固了，便挥军南下。匈奴数万骑攻入代郡，袭杀太守共友，抢掠一千余人。这年秋天，匈奴人又侵袭雁门郡，杀略千余人。