遭武帝责备，故而心怀不满，便请巫师祈祷神灵，诅咒武帝早死；这人同时密告刘屈氂与李广利共同向神灵祝祷，希望昌邑王刘髆将来做皇帝。武帝那时相当迷信巫蛊之术，听了这番话，自是勃然大怒，便下令廷尉查办。结果刘屈氂夫妇被处死，李广利的妻儿也被逮捕囚禁。
正在前线指挥作战的贰师将军李广利听闻这一变故，如五雷轰顶，既忧虑，又害怕，一时之间，茫然而不知所措，不知该怎么办才好。其部下有一掾吏，曰胡亚夫，待罪之身，躲避在外，随军出征。这人乃一腌臜泼才，为人圆滑，不讲道义，本就没有归汉之心，见李广利进退两难，便以言挑逗道：“一个人的家室全为官府所收押，倘若他回去不能如愿解救他们，却反而与他们皆相会于狱中，那么，再想见到郅居以北的这些土地，还有可能吗？”见李广利犹豫不决，胡亚夫干脆挑明道：“假如将军也被牵连入狱，虽欲投降匈奴，却已不可能了。”李广利止道：“不可胡言乱语，事情还没到这一步。”
是的，还没到山穷水尽的时候，李广利的心思是：若投降匈奴，将加速妻儿老小的死亡，情况会更惨，不如立功赎罪，也许还有一线生机。于是李广利下令全军继续北上，深入匈奴，到了郅居水边。这时，匈奴人往更北的地方逃去了。李广利不甘心，令护军将军率领二万骑兵渡过郅居水，寻击匈奴。有一天，这一部汉军碰上了匈奴左贤王、左大将，恰巧对方的兵力也是二万骑兵。于是双方二话不说，大战一日。匈奴左大将阵亡，被杀伤和被俘虏的匈奴人也很多。战报传来，李广利得意地笑了。