现在的长沙城，除去张德能的第四军外，惟独只剩下了张小虎的二十师。
二十师是孙玉民的起家部队，坐拥58、59、60旅三个旅九个团，外加炮团和师部直属部队数万人马，较之有59、90、102师三个师的第四军，兵力和装备都在其之上。按照薛岳的亲自划分，岳麓山及其周边归张德能第四军防守，长沙市区归张小虎第二十师防守。
孙玉民在前往湘北之前，就叮嘱交待过张小虎，让他切勿把第四军当成十二军的部队，以前欧震在任时，第四军尚还是一支铁军，可自他升任二十七集团军副总司令以后，第四军的战力就每况愈下，张德能实不是一个能真心托付之人，这种友军完全不可靠。他再三交待张小虎，凡事都要靠自己，凡事都要想着弟兄们，虽然没有明着说出，让他在适当时机弃城而退，可话已经算是讲得很明白。
孙玉民交待张小虎这些话，并不是他也存着保存自身实力，故意放弃长沙，而是他清楚，长沙是不可能守住的，日军这次可是拼全力而为，不仅十一军的所有主力倾巢而出，甚至还调动了周边的兵力进行攻击牵制，防止第三战区等等各处的国军兵力进行增援。
历史上，自1944年6月16日开始，日军在航空兵第一飞行大队的直接支援下，对岳麓山和长沙市区发动总攻，第34师团当天就攻占了岳麓山东、西的虎形山和牛形山。这两处是掩护岳麓山的门户，张德能在这两处阵地，各布置了一个团，可在飞机、重炮和坦克的攻击下，一个下午日军就攻破了这两处阵地，到了黄昏时，日军第58师团甚至攻破了第59师师部所在的修械所阵地，无奈之下第59师只得退守妙高峰、天心阁核心地带。
打了一整天，敌我双方都是疲惫不堪，不约而同地选择了偃旗息鼓。一夜无战事，让张德能误以为日军已经是强弩之末，在指挥部里长舒了一口气，可没料到，早饭还没吃完，日军的飞机又飞临了战场的上空，自然又是一通狂轰滥炸。鬼子步兵也在飞机、重炮的支援下，向天心阁和桃花山的第59师阵地发起猛攻，更为毒辣的是，鬼子为了能达到速战速决的时地，向第四军的阵地发射了大量的毒气弹，其中不乏有严重违背人道主义的糜烂性毒气。
59师的确展现出了中国军队的顽强斗志，可无奈于没有防毒面罩，死伤极为惨重，可尽管如此，他们还是给了日军极为沉重的打击，而且59师的残部竟然打穿了鬼子的包围，返回到了长沙城内。
那边打的惨烈，这边也是同样的人间地狱。日军第68师团师团长佐久间为人亲自率领着第58旅团，绕过第34师团，从34团的右翼迂回至国军守军第90师的左翼，猛攻其驻守的燕子山阵地，只一波攻击就让防守主阵地的第90师第268团损伤过半，师长陈侃数次致电一江之隔的张德能，请求援救。
其实以90师的实力，依仗着岳麓山的地形，再坚守一两日是决无问题的，可正是因为陈侃的数次求救，使得张德能决定将全军主力增援岳麓山，除去给各师留下了一点“种子”部队外，其余部队全部于入夜时分渡湘江，增援岳麓山。
由于命令十分突然，渡河准备的极其仓促，加上日军在牛形山及其东面以猛烈炮火侧击强渡的部队，致渡江部队死伤惨重，如果再继续渡河，恐怕第四军的主力在尚未见到鬼子的面就将被打残，张德能无奈之下，只得命令后续渡河部队折返东岸。
这尚且不算什么，眼见着军主力渡河失败，90师师长陈侃认为死守岳麓山会是条死路，所以他自作主张，趁夜带着部队逃离了岳麓山。待到第四军渡过江的部队到达时，岳麓山核心阵地已经被日军占领，只得转向而逃，偏偏又碰上日军第三十四师团的部队，接触性地交火后，便被迅速击溃，一路败逃至邵阳地区。