王敦为此大感为难，老实说，他极怀疑这是虚晃一枪。
因为江北诸城之中，最重要的城池无非是三座，分别是夷陵、江陵、襄阳。其中夷陵主要是地形险要，城防虽然坚固，但远远比不上江陵与襄阳。须知江陵是蜀汉名将关羽当年亲自督造的北伐中心，城防规格堪比洛阳；襄阳则是自刘表以来，魏晋接连经营了上百年的荆州根本，是天下闻名的夹水双子城。
最能体现这一点的，便是三国时期的战事，夷陵城好歹还被陆逊、陆抗、王濬先后攻破过。而江陵与襄阳两城，自建成以来，除非城内守军主动投降，或者弃城而走，根本没有被正面攻破过的记录。
刘羡初入夷陵便要北上攻打襄阳或江陵，在王敦看来，根本不可能成功。而只要这两座城池不沦陷，汉军在江北就无法站稳脚跟，无异于自投罗网。因此，王敦其实已经隐隐察觉到，这大概是一招声东击西。
但李矩这招厉害就厉害在这里，即使王敦心有察觉，又能如何呢？他麾下的将领士卒，基本都是荆州江北人，江汉才是他们真正的根基所在。若是放任汉军驰骋江北，他们如何能够安心作战呢？到那时，军心乱了，最后也就会不战自溃了。
王敦和周顗商议之后，只得同意诸将所请，先率大部返回江北，稳定后方，等待援军，然后再做打算。但他也不愿完全放空江南，最起码不能直接将南平郡就这么轻易地让出来，应詹在此处经营数年，名声极好，民心也依附于他，倘若就这样让给刘羡，无异于自断一臂。
于是王敦下令，命前线的应詹、王逊两部与江州军进行换防，将益阳县转交给陶侃所部，而后率水师返回江安。与此同时，他又给扬州刺史王旷去书，请求他将江州水师暂时转移在洞庭湖北口，作为荆州水师的后援，一旦刘羡继续东进，就算不能击败他，至少也能阻截他进军的速度。
王敦仍然寄希望于南北两路晋军，能够在刘羡突破至湘南之前，将杜弢部彻底歼灭。虽然就目前来看，这很难做到，但除此之外，也没有什么更好的办法了。不然就只能等待扬州与淮南援军赶来，与汉军做一次孤注一掷的正面对决了。
命令下达到益阳前线，王逊与应詹皆有不甘，他们已经围攻了临湘半月有余，战事正在关键阶段，如此撤军，无疑等于此前的努力全部白费。应詹还好，王逊私下里与左右腹诽道：“按理来说，荆北空虚，那应该请江州军去接管嘛，我等身在前线，如此仓促撤军，岂不是平白涨了叛军的气焰！王荆州还是太顾念权柄，怕别人到了荆北，抢占了他的刺史之位啊！”
话是这么说，但王逊也知道，想要一镇方伯不在意权位，恐怕也是不现实的。在半壁江山已然沦陷的情况下，晋军已丧失了绝对的体量优势，他们不可能同时对付所有方向的敌人，必须有所选择。再三斟酌后，他还是选择了听令，放弃对临湘的围攻，乘船返回江安。
而在另一边，王敦刚返回江陵，还未回援襄阳，又觉得荆南的布置有所欠缺。毕竟王逊与应詹回援，尚需要一定的时间，而在他们赶回之前，南平郡仅留有五千守军，现由王敦的牙门将邓岳统帅。但邓岳的资历不足，一旦汉军主力向东开进，在刘羡的恐吓之下，恐怕还没有开战，晋军自己便乱起来了。
因此，王敦亟需一位有一定威望的宿将到南平郡中压阵。可仓促之间，他哪里去找这么一个人选呢？就算有，对方又凭什么为他效命呢？但很快，他还真想到了有这么一个人选，既有才能，又在自己麾下，而且此人一定会与刘羡对阵到底，绝不投降，完美符合自己的要求。
“看来只有启用此人了，让他去挡刘羡，至少没有什么顾虑。”
沉思过后，王敦与周顗商议此事道：“就让苟晞去江安！”