他们警告说，一旦皇帝去了鄂州、岳州，那么长江以北的盗贼就会趁虚而入，占据整个江南。
武将中，张俊、辛企宗支持迁到鄂岳地区，但他们不是为了西迁四川，他们反而建议皇帝从岳鄂南下长沙。
韩世忠坚决反对“国家已失河北、山东，若又弃江、淮，更有何地！”
文臣武将态度针锋相对，让赵构急的一整天都吃不下饭，到了晚上，诏吕颐浩商谈。
赵构说，张俊、辛企宗不敢打仗，所以想要退避湖南。赵构又说，金人的强处，在于骑兵犀利，浙西一带水乡河渠纵横，不利于骑兵奔驰，还是不该走，一旦西迁，人心摇动，哪怕到了四川、两广恐怕都跟到了敌国一样危险。
吕颐浩此时也已经被江南官僚说服，就建议皇帝重返杭州，为防止江宁一带人心摇晃，他请旨守在常州一带抗敌；赵构却表示，他身边不能没有吕颐浩这样的宰相。另一个宰相周望也请旨留守平江一带，说现在北方的李彦仙（不是海州李彦先）、翟兴等人，聚拢溃兵群盗都能在洛阳、陕州一带跟金兵交锋，他们是宰相，如果连江南都不能死守，有什么脸面见李彦仙这些人。最后文官张守建议，皇帝南下杭州，留开封南来的杜充留守江宁，让他招抚江北群盗，不允许江北群盗过江。
就这样，皇帝决定还是按照以前王渊的主张，重返杭州，留杜充守江宁改江宁府为建康府，设建康府路，负责整个长江防线，至于江北的淮河流域，则被彻底放弃了。
其实赵构这几年一直就这样，他自己不坚定，没有主张，文臣态度不一，今年二月才从扬州渡江，到杭州都三月多了，传来建炎皇帝赵楷在南京被俘的消息，仓促登基后没几天，就发生了苗刘兵变，兵变刚刚平息，就又准备西迁，到了江宁却又被江浙官员拦阻，甚至连一个月安生日子都没过过。
无论是赵构还是官僚集团，对江北已经完全不抱希望，韩世忠要求守江淮的声音，根本没人理会。可无论是皇帝还是官僚，都无法对扬州完全疏忽。因为那里还有一个公主，文官不敢说不顾公主，皇帝也没法说不要妹妹，哪怕不是亲的。
但公主銮驾被扬州百姓拦阻，杨沂中回去复命后，赵构自己也马上西迁，一直就没顾得上处理这件事，九月终于重返杭州之后，他才开始重新提起公主的事情。