孙尚香见刘贤如此敷衍，大为不满，转头生起了闷气，直到当夜出了灵渠，在灵渠以南扎营休息的时候，孙尚香仍旧不理刘贤。刘贤只得哄道：“罢了，你若真想做女将军，也行。不过先只能做我的亲卫将，待日后你通过考核，我便准你上阵。”
孙尚香道：“什么考核？你先说说，我也好预作准备。”
刘贤道：“考核共有三重。凡为将者，必精通兵法，这第一重考核便是考你兵法战策。为将者，也当精通武艺，这第二重便是考核你的剑术和骑战之术。第三重嘛，就是考你的箭术了。想来夫人你出生将门世家，这三样考核应该都难不倒你吧。”
孙尚香闻言，轻哼了一声，傲然道：“当然！你等着，不出三五个月，我定能通过考核。”
刘贤闻言大笑，心下不无得意地想到：“就算你熟读兵书，武艺超群，这一关、第二关难不倒你，你也休养通过第三关。我就不信你射术在高，还能高得过黄忠去？”
于是刘贤安抚了孙尚香，当夜得以愉快地上床休息。
次日，大军起程，经过艰难跋涉，终于到达始安县（今桂林地区）。赖恭、裴潜、高翔闻听刘贤到来，急忙出城迎接。刘贤就在城外立起营寨，安顿大军，随后设宴请赖恭、裴潜、高翔入席。
酒过三巡，刘贤见赖恭、裴潜、高翔都有些忐忑，当下道：“我大军至此，你等何故不安？”
赖恭与刘度乃是旧识，当下仗着年长，对刘贤道：“贤侄身为荆南都督，如今却领兵来到始安，莫非是要攻打交州？”
刘贤笑道：“听闻赖刺史被吴巨所欺，我故领兵来此，问罪于吴巨，为你报仇。”
赖恭苦笑了一下，道“贤侄说笑了！我智穷力短，无力保守交州，被人家赶了出来，如今还能有什么想法？若是贤侄有意取交州，我愿倾力相助。”
刘贤大喜，道：“若得刺史相助，大事必成。”说着，又转头看向裴潜和高翔，问道：“你二人之意如何？”
高翔起身拜道：“愿听将军调遣。”
刘贤大喜，起身扶起高翔，劝勉了几句，然后目视裴潜。
就见裴潜面色变幻了一阵，这才长叹一声，起身拱手拜倒道：“若蒙都督不弃，我愿效劳。”
刘贤喜不自胜。高翔原为司马，刘贤当即封其为校尉。裴潜原为抚夷校尉，刘贤自觉要南征，必要与蛮夷打交道，故而保留了裴潜的这个名号，另依照自家军队的职位等级，加封其为中郎将。
至此，刘贤收复了各军，当日大飨士卒。次日，任命仓槽掾刘邕为始安县令，留守县城，随后率领大军，乘船顺漓江而下，不过一日便进入苍梧县境内。
刘贤为求速度，命黄忠为先锋，与赖恭一道先行。