原各族百姓屡有反叛，深入山险之地自守，不断袭击各封国。汉军则不断攻击清剿，双方纠缠了数十年，方才停息。
扶余国原本联合汉军攻灭高句丽，本指望着汉军得胜后便会撤退，然后扶余便可占有高句丽的土地和人口，不想汉军居然大规模筑城屯田，开始定居了起来。扶余国顿时坐不住了，开始招诱各族遗民，连结挹娄，暗地里对抗汉军。赵累得信，于是联络各国，组成联军，攻灭扶余，随后不断向北进击。此是后话。
隆武五年的冬天极度寒冷，长江之上飘起了冰棱，淮河结了薄冰，流速较为缓慢的邗沟等运河更是飘起了大块冰块，冰雪一直覆盖到荆、扬二州与交州交界处的五岭地区，河运废弛，百姓受灾极重。刘贤在分封安东封国的同时，督促各地方官府全力救灾，这才好不容易挨过了这个冬天。
至隆武六年初夏，交州刺史士燮突然病故，临终上表，请求让长子士廞继承爵位，然而其次子士徽却纠合各族兵马，自领了交趾、九真、日南三郡事务，并派兵隔绝岭道，不臣之心，昭然若揭。交州刺史薛综联合众将，上表请刘贤南征。
刘贤与众将商议过后，同意了薛综等人的请求。当下与众将商议之后，抽调霍峻为安南都护府首任大都护，吕岱为安南都护府首任长史。会同诸将之中意欲在安南封国者如吴砀、曾夏等十余人，领兵一万南下至交州，会同薛综、高翔、裴潜、张裔、刘邕等交州兵一万五千人，再加上赖厷、卫温、钟离绪主掌的新建南海海军一万人，合兵三万五千人，海陆并进往攻交趾。
大军六月集结完毕，陆军先沿着山道进击，从郁林太守裴潜耗费多年修筑的镇南关处攻入交趾郡境内，随军的士廞写了书信，劝交趾众将投降。眼见汉军势大，交趾大族桓邻意欲反正，被士徽察觉，当即诛杀。桓邻之弟桓治，其子桓发逃回家中，收整族兵，得三千人，反攻士徽。
士徽顿时腹背受敌，形势危急，只得将防守河口的士匡所部兵马调去镇压桓治。却不想久等不至的赖厷所部一万海军突然到来，一举拿下空虚的河口，继而沿着红河而上，直取龙编。士徽根本重地被夺，大军粮草断绝，只得领兵后退，沿途将士逃散极多。等到士徽退到望海城时，集合士匡之兵，也仅得五千人了。
士徽心绪不宁，旁边士匡却不想再打了，当下力劝士徽投降。士徽如今被打的连败，已经没有信心反败为胜了，当下派士匡前去面见霍峻、赖厷，欲要讲和。
霍峻本来得了刘贤的密旨，说士徽久有不臣之心，且与当年刘巴之死有关，叫霍峻必要诛杀士徽，以正国法。此时见士徽欲要求和，居然还有保留爵位官职等一干条件，当下言辞拒绝，转而派出士廞拉拢士匡，说其投降。士匡被说的心绪不宁，当下回转望海城，说霍峻不许投降。士徽顿时有些绝望。
至夜，霍峻抽调大军在望海城下大举呐喊示威，城中军民都十分惊恐。士匡权衡良久，终于开城投降。士徽闻讯，当即领着数百亲信开南门往九真郡去了。
霍峻收降了士匡、桓治之兵，持节任命张裔为代理交趾太守，随后督率各军继续南下，往攻九真、日南，大军海陆并进，但有关隘阻路，海军便绕击其后，因此各处关隘都无法抵挡，被霍峻连连突破。士徽最后穷途末路，只得逃入林邑，寻求庇护去了。