陇西，逾乌戾山，攻打速濮部，涉狐奴水，越过焉支山（今甘肃山丹县东南），入匈奴境千余里，和敌军短兵相接，杀折兰王，斩卢侯王，捕获了浑邪王（一作昆邪王）子、相国及都尉，缴获了休屠祭天金人，杀敌八千九百六十人，使得对方减损十分之七，可谓大获全胜。
同年夏天，霍去病领军第二次西征，涉钧耆水，济居延泽（在今内蒙古额济纳旗东），攻到祁连山，在后来的张掖附近，捕获匈奴单桓王、酋涂王、相国、都尉及其他降者共计二千五百人；汉军乘胜继续进攻，大破匈奴军，歼敌三万二百人，另有捕获五王、王母、单于阏氏、王子等五十九人，相国、将军、当户、都尉等六十三人。自此霍去病一天比一天受宠，已可与他的舅舅、大将军卫青相比了。
河西的匈奴部损失惨重，令伊稚斜单于大动肝火，传令召回浑邪王与休屠王。两人知道若回了王庭，必无好果子吃。在求生的欲望的驱使下，两人密谋降汉。此时大行李息将兵于黄河边筑城，见了浑邪王派出的使者后，知事关重大，忙通过驿站，遣人飞报天子。汉武帝疑是诈降，令霍去病率军前去探个究竟。汉军渡过黄河，与浑邪王部遥遥相望。休屠王与其他的一些裨将看见汉军后，顿生悔意，不欲投诚，纷纷遁逃。霍去病见浑邪王不能止，当机立断，一马当先，突入匈奴军中，斩杀欲亡者八千人。一时间，其他人都被镇住了，不敢再妄动。霍去病复见浑邪王，又安抚一番，便不失时机地督促余部渡过黄河。降者数万人，号称十万。