张飞闻言，深觉有理。然而斥候来报，说荆州兵已经退回了武关，不再前来进攻上雒。张飞顿时万分憋闷，只得暂时留下了地道，以备将来。
刘备见荆州兵不来追击，心下记挂着汉中，当下分兵五千给张飞，合其原本的二千残部，总计七千人把守上雒。随后命刘封、孟达继续把守峣关、蓝田。刘备则率领其余一万五千人返回长安，准备转道复夺汉中。
与此同时，关羽也收到了汉中失守的消息，此外，益州内部也出现了叛乱，汉嘉太守黄元突然打着扶立原益州牧刘璋的旗号反叛，同时，梓潼郡的山贼张慕也起兵作乱，居然去江油将辗转关押在此的刘璋一家给劫走了。
一时间益州人心惶惶，有不稳之势。关羽心急如焚，当下决定撤军。
然而从益州上游攻打荆州下游，乃是进易退难之势，关羽想要撤退却也并不容易。水军胡济所部立即咬住了蜀军水师，同时驻兵夷道的诸葛虔和五千五溪蛮兵立即兼程往西，在巫县、秭归交界处渡过长江，把住了群山之间的小道。
关羽本欲急速退走，奈何黄忠、杜路、相炜、彭式、李巡、马岱、蒋琬、费祎、董允、李遗、孟通等人得了刘贤通报的汉中战报，知道关羽必退，因此挥军死死咬住了关羽。
在这种后有追兵，前有堵截，山道险峻，水路浪急的情况下，心急撤军的关羽陷入了苦战之中，不得不全不顾惜士卒性命地挥军抢夺道路，在山道之上与荆州军争抢高地，争夺形势。奋战了十余日，等到关羽好不容易退入巴东时，麾下七千水军已经全军覆没，步军也死伤一万一千余人，被俘八千余人。
损失总计达到了二万六千人，加上早前损失的二三千人，汉军损失近半。
水军大将庞乐、李异战死，步军蒋斌、刘豹、赵祚三员偏将被斩。
关羽仅只带着三万一千余人退回了巴东。
荆州军大胜，当下黄忠等人写了战报告知刘贤。刘贤闻讯之后，当即下诏嘉奖了众将，随后命黄忠督率刘敏、成何、彭式、李巡、杜路、胡济等二万余人作势欲攻鱼腹，命诸葛虔、相炜沿清江往上，经恩施、利川，翻越山道前往袭击临江、朐忍。
而关羽回转巴东之后，留宗预、袁龙领兵一万把守鱼腹，留赵融领兵五千把守巴郡，随后便即率领其余一万六千兵马火速往成都而去，意图尽快剿灭黄元、张慕之叛。
此时，行到了颍川的刘贤又收到了河内陆逊发来的战报，说驻守荡阴的夏侯衡、文钦二人中计出城，被陆逊设伏击溃，二将皆被汉军擒获，荡阴城池也被汉军夺取了。
刘贤闻讯大喜，当即便命将夏侯衡、文钦等人押过来相见。