路狂飙猛进，深入匈奴二千余里，越过居延泽，侦察地形，没有碰到匈奴军队，只得班师回朝。武帝略感失望，但也赞许他勇气可嘉，便升迁其为骑都尉（在边郡掌管骑兵训练的长官）。不久，李陵率领五千勇敢之士，教他们练习箭术，驻防于酒泉、张掖，以防卫匈奴，可惜始终未得展示的机会。武帝心中的希望之火，渐渐熄灭，只把李陵当做一般的将领了。
几年之后，武帝令贰师将军李广利率军征讨大宛。不久，武帝又命李陵率领五校（汉军队编制，一校七百人。）兵马支援李广利部。李陵部刚刚到达边塞，李广利部已折返了。于是武帝诏令李陵留下兵马，只率五百轻骑出塞。李陵领军急出敦煌，到达盐水（地名，在今新疆吐鲁蕃东。），碰上了李广利部，便迎护其归还。后来李陵又率军驻屯在张掖。
天汉二年（公元前99年），贰师将军李广利率领三万骑兵从酒泉出发，寻机攻打在天山（指南祁连山，在今甘肃、青海之间。）一带活动的匈奴右贤王部。武帝在未央宫内的武台殿，召见李陵，想让他率军为李广利部输送辎重。李陵心说自己自从军以来，还从未与敌人真刀真枪地干一场，着实羞愧，又想若此番负责运送粮草，怕是难以与敌人遭遇，又何谈立功呢，于是叩头请求说：“臣所率领的屯边将士，都是荆楚一带的勇士、奇材、剑客，力能扼虎，射则必中。望陛下能允许臣率部独挡一面，出击至兰干山（在今甘肃兰州市南）南，分单于之兵，以减轻贰师将军的压力，而不是只让我做贰师将军的运输队。”