降汉朝，武帝派骠骑将军前去迎接他们。中途，休屠王想反悔。浑邪王杀了休屠王，合并了他的军队，领着全部的部属投降了汉朝。人数总计四万余人，号称十万，以从心理上打击伊稚斜单于。
汉廷自从接受浑邪王投降之后，陇西、北地、河西遭受匈奴侵扰的事越来越少，就逐步把关东地区的贫民迁徙到从匈奴那里夺回来的河南地、或曰新秦中地区，以充实这里的人口，并将北地以西的戍卒减少一半。
元狩三年春，伊稚斜单于向右北平、定襄各派出了数万骑兵。两地被杀略的人口总计达一千余人。
元狩四年（公元前119年）春，武帝决定发动更大规模的反击。这个时候，伊稚斜单于已按照翕侯赵信的谋划，迁移各部落，居于大漠之北，自以为绝远而汉兵不能至，或者即使来了也难以久留，站不稳脚跟。武帝却不信邪，明知山有虎，偏向虎山行，明知路途过于遥远，却偏偏敢于派兵前去攻打。当然，出征之前，得做好万全的准备。为提高马的体力与耐力，武帝下令皆以粟饲之。
不久，各种物资都准备好了。作战主力总计十万骑，霍去病与卫青各领一半；但十万骑中，敢力战、敢深入之士都被调拨给了霍去病。除十万骑主力外，自愿备马、自愿担负衣食等物、自愿随军出征的人达四万余。这些人被妥善地分配到了两军之中。兵马未动，粮草先行，后勤兵团自然也不弱。其中车马自是数不胜数，负责转运粮草辎重的步兵达数十万。