守军只好利用敌炸弹创出的一个个弹坑进行顽强抵抗。
更为严重的是，城内所有的有线通讯线路都被敌机和炮火炸毁。方先觉将军同各师、各团的联系中断。各部队之间，虽近在咫尺，却互不了解情况，只能靠传令兵联络。
方先觉已无法在军部指挥全局、只得带着警卫到各阵地上去指挥、督战。
在敌人狂轰滥炸和大军包围之中，守军各部临危不惧，一直保持冷静沉着，施用他们的拿手好戏——手榴弹，将敌人放在近前狠狠炸。
7月13日。
日军第二次攻城又打了三天，仍然未能前进一步，第116师团的攻城主力——步兵第120联队，在联队长和尔大佐指挥下，向山头阵地发动冲锋。在山坡半腰间，遭到从弹坑中突然冒起来的一些中国军官兵的手榴弹狠炸。和尔大佐和许多日军官兵被当场炸毙，冲锋垮了下去。
进攻张家山的日军第2大队足立大队长和该大队5至8中队所有的官佐，全部在进攻中被守军用手榴弹炸死，该大队活着的士兵不足四分之一。
日军只能依靠空中和炮兵的轰炸效果向前一步步推进。即用飞机反复轰炸扫射，炮群集中轰击，将山头上的守军官兵全部炸死，才能占领那个山头，否则，只要阵地上还有一个中国军人，冲锋的日军就要挨手榴弹炸。
7月18日。
第68师团主力志摩旅团推进到小西门外四百米处，旅团的冲锋部队被守军火力压制，趴在地上抬不起头来。
师团炮火急忙给予支援，压制守军人力。支援炮火刚停，日军指挥官一声嚎叫，上千名日军从地上一跃而起，嚎叫着朝守军扑来。等日军近前，守军用手榴弹与敌混战，密集的手榴弹整整炸了一个钟头，冲上去的日军几乎被炸光，守军自己也被炸死、炸伤无数。
由于两军搅成一团，日军炮火无法开炮支援，眼睁睁看着自己的冲锋部队被消灭。这世界上绝无仅有的中国军队之手榴弹肉博战使倍受“武士道”亡命精神熏陶的日军官兵也感到胆寒。
7月19日。
经整整一天一夜的拼死肉搏，第68师团志摩旅团好不容易又向前推进了一百米——离小西门三百米了。
汉口，派遣军前进指挥所。
由于衡阳久攻不下，且伤亡惨重，（火田）俊六总司令十分气恼，在电话上对横山勇进行严厉训斥，并责令其迅速攻下衡阳城。
长沙，第11军前进指挥所。
横山勇放下电话，心里感到万分羞愧，面对作战地图，一愁莫展。
指挥所里，高级幕僚和参谋人员们吵成一团。许多人摇头叹息，认为日军无法攻下这座城市；有的人大吵大闹，说应该赶快痛下决心，放弃攻城战斗，以免徒添伤亡；有的人据理力争，说投入数万大军，攻打了几十天，丢下那么多死尸，现在不攻了，作战部队的士气将因此崩溃，大日本皇军将在世界上威信扫地。因此，再大的牺牲也要再所不惜，攻城的仗还应打下去。
还有的人对攻城的第116师团和第68师团大加贬斥，说事情都砸在这两个无能的师团手上。连横山勇也对这两个师团十分气愤，认为这两个甲种精锐师团，四五万兵力，还配有那么强大的炮兵部队和轰炸机战队，竟然攻不下个衡阳孤城。况且城内仅有中国军一个军，无论从人数上还是从武器装备上，都不及日军一个师团。可见这两个攻城的师团素质之差，攻坚训练之不完善。
实际上，这两个师团一直是日军中的精锐。第68师团不用说，自编入第11军以来，次次出战，都是当着刀刃在用；第116师团因擅长攻坚作战，在1943年常德作战时，特地从第13军调到第11军，师团长岩永中将曾肩负过统一指挥各师团进攻常德城的重任。结果，在他指挥下，曾一度把常德城在地图上给抹掉了。
这两个师团在衡阳城不是打得不凶、不狠，而是中国军队的顽强抵抗比他们更凶、更狠。
7月20日。
横山勇不得不再次下令停止攻城。
衡阳作战已快一个月了，日军最担心的远征军到现在也没出现在湖南的大地上。
原来，当蒋介石签署远征军向北缅反攻的命令后，驻缅日军为对付远征军，迅速抽调兵力，新设了第33军，统辖缅东北战事，专门对付远征军的反攻。5月中旬以后，[奇/书\/网-整.理'-提=.供]远征军两个集团军以及预备部队和游击部队，从缅东北向西进攻，一举改变了英、印军在东印英帕尔战场上的被动局面，从而扭转了缅甸战场的局势。
此时，中国远征军正在缅甸中部围歼日军，解放缅甸人民。
也就在这同时，美国对中国军队在豫中平原的失败和长沙的失守，现在日军又推进到湘南，进攻衡阳，便认为中国军队在大溃败，其原因是中国统帅部指挥无能。照此下去，中国将被打败。而一旦日本灭亡了中国，则将对同盟国、乃至东西方反法西斯战争带来不堪设想的后果。因此，“为了挽救中国”，罗斯福认为必须立即改组中国军队最高统帅机构。
7月6日。
罗斯福致信蒋介石：
我决定给史迪威晋升为上将军衔并希望你赶紧考虑把史迪威从缅甸召到中国，使他在你的直接指挥下统帅所有中国军队和美国部队，让他全面负责，有权协调和指挥作战行动，阻止日军的进攻浪潮。我认为中国的情况非常严重，如果不立即采取果断而适当的措施，我们的共同事业就会遭到严重的挫折……
蒋介石认为事情并非那么回事，拒绝交出指挥权。
方先觉指挥的第10军在衡阳的出色战斗，在关键时刻为蒋介石和重庆统帅部争了光。
7月中下旬。
日本上层发生突变。由于日军在太平洋上的失利和衡阳城下的败北，东条英机深感无力挽回其颓势。在国内军政界压力下，于7月18日，宣布内阁总辞职。随即，小矶、米内联合内阁上台；东条英机所兼内阁陆军大臣和大本营陆军部参谋总长等职务，也被同时解除。第11军前司令官、在第三次长沙会战中被打得最惨的阿南继任陆军大臣；关东军总司令官梅津美治郎大将，转任参谋总长。同时，海军统帅部的一元化也宣告破产，首脑更换。
日军三攻衡阳城。
横山勇决心孤注一掷，投入更大的兵力，并亲自上阵督战，一定要把衡阳这块骨头啃下来。
他向各兵团发出命令：
一、第40师团南下，占领衡阳城西北角，阻击第六战区援军。
二、第58师团南下，加入北面攻城。
三、第13师团（已在衡阳南方耒阳附近）北上，与第68师团一起共同攻打南门。
四、第3师团从茶陵转进耒阳地区，随时准备加入攻城作战。
五、第116师团仍攻打西门。
六、其他各师团和军直属部队，在湘江两岸，阻击来援的中国军队，使其不能接近衡阳。
7月25日。
长沙至衡山的公路已可通车，日军汽车部从将三十六吨弹药运至衡山，改由驮马辎重部队向衡阳转运，补充攻城部队。
这时，第64师团、派遣军直辖的松井部队和又一批野战补充队兵员到达长沙，并从长沙南下，补充衡阳的师团。
第三次攻打衡阳城之前，配置于该城四周的日军部队是：
北门：第58师团；军直辖炮兵部队（包括野战重炮兵部队、100mm加农炮部队、150mm榴弹炮兵部队）。
西北角：第40师团。
西门：第1l6师团；炮兵第2联队：步兵炮队；速射炮队；
南门：第68师团;第13师团；独立山炮第5联队；步兵炮队；速射炮队。
东门（湘江东岸）：第13师团一部；山炮第19联队。
天上：第5航空军在第三次攻打衡阳中受命出战的有：轰炸机第6、第16、第44三个战队；战斗机第1、第8两个飞行团。
8月3日，午夜，
敌轰炸机第6、第16和第44三个战队，一批接着一批地出动，对衡阳市区、西南两面高地施行地毯式轰炸，日机的大轰炸从午夜一直持续到翌日拂晓。
飞机轰炸刚停，城外四周炮群又万炮齐鸣，密集的弹雨一古脑儿地倾向城区，没头没脑地乱炸。
日军各路大军在震天动地的喊叫声中发起冲锋。
第116师团一部冲进当面一个山头阵地，发现战壕内蓄满了齐腰深的积水，可见中国军队将士们原来一直浸泡在深水中艰苦战斗。
该师团于天亮后发动的首次冲锋，又被顽强的中国军队用集束手榴弹炸了下来。夜里组织突击队偷袭，摸进守军阵地，以为大功告成，不料又被隐蔽于侧面的火力封锁了退路，突击队全部被消灭。
第68师团一清早发动的冲锋，扑上了一块高地，立即被守军火力压制，趴在地上既前进不得又退不下来。
师团炮火赶紧支援，轰击守军。又组织了两个大队的兵力发动冲锋，救援被压制在高地的部队。结果，守军以狂风暴雨般的扫射将这两个大队的中队长、小队长全部击毙，士兵死伤惨重，冲锋又告失败。
其它几个师团的进攻，也都被打垮、
8月5日。
上午，各师团的冲锋皆告失败。
下午，恼怒已极的横山勇命令军炮兵部队的重炮群一齐开火，轰击西北角和西南角的城外守军阵地。