于是，林师长命令以两个营分两路进行夜袭。经1小时激战，终于28日拂晓占领雨母山。上午，继续攻击前进，占领东阳铺。日军凭借猛烈的炮火掩护，反复争夺达三次。但均被国军击退。
“侯副师长，第157师已经占领雨母山和东阳铺，你部不要再在谭子山虚耗实力，浪费时间啦！除留469团监视谭子山当面之敌外，其余部队应立即赶到东阳铺集结待命！”黄涛军长强压火气命令道。第62军军部当即推进到距东阳铺约5公里的古山寺。
29日下午，驻衡阳南郊日军之第40师团由头塘向雨母山发动反攻，与国军发生激战。时林师长已经率所部到达雨母山右侧高地，眼见日军来势凶猛，即令第453团增援上去，将日军击退。
“命令452团第1营崔直行营长率所部固守雨母山已占阵地；薛叔达团长率第2、第3两营向溃退之敌尾追猛进。争取一鼓作气突进衡阳！”林伟俦师长果断地命令。
然而，由于求胜心切，追击时未派部队严密搜索，进至头塘时遭到日军伏击，接着又遭到湘桂铁路方面的日军侧面夹击，国军部队尚未展开，即陷入日军强大的机枪、迫击炮等火力网。第452团副团长钟敬敷阵亡，团政治指导员刘大光受伤，该团损失巨大，情势非常危急。林师长随即命令第543团从右翼对敌侧击，又以师部搜索连在雨母山右侧高地占领阵地，掩护第452团收容集结队伍。日军终于没能冲击过来，时至黄昏，战斗逐渐沉寂下来。
黄涛军长率军部到达雨母山阵地后，立即召集团以上军官会议，研究敌情，商讨下一步行动方案。决定：由第157师470团李上达团长派一个营第151师第452团雨母山阵地。由林师长指挥第452团、第453团及第157师第471团向衡阳火车西站攻击前进。当晚第151师第451团仍在湘桂路白鹤铺监视日军；第157师第469团仍在谭子山与日军保持接触。此时决定该两团除各留一个营监视日军外，其余部队迅速归建。
7月30日，向衡阳火车西站前进中，452团在左，沿东阳铺通往衡阳的湘桂公路前进至头塘附近与日军遭遇，发生激烈战斗，并遭到来自湘桂铁路方面之日军侧击，攻势顿挫，进展缓慢，与敌成胶着状态。453团和471团在右，不顾一切向衡阳城郊突击前进。击退衡阳南郊之敌后，继续尾追溃退的日军，向衡阳火车西站突击。但不久就遇到日军400来人的密集反冲锋，既而又有一股100多日军和一股数十人的密集侧攻，但均被国军击退。国军453团第1、第3营和471团第1营均杀入衡阳火车西站及其附近民宅中。
只见日军遗尸甚多，其中有不少为日军军官。国军在日军遗尸上搜获手枪、军刀、望远镜军用地图等战利品甚多，武器弹药则难以记数。从日军日记中发现该敌为日军第116师团一部。一问当地居民，原来此处为日军一个联队指挥部。日军进驻后就不让居民接近。其实不是日军地116师团，而是日军的第40师团之第234联队。
林师长当即派第453团第1营副营长万天宝少校率领几个精干士兵同衡阳守军第10军去取联系。在通过一大片稻田时，被对面的日军守卫部队阻击，受伤而归，未能如愿。
当日，黄涛军长随即将该军进展情况电告军委会。蒋委员长马上命令空军前往掩护，并传令嘉奖：“第62军迅速挺进衡阳近郊西站，着即传令嘉奖，盼即再接再厉，以解衡阳之围……”
此后，从7月31日至8月2日一连三天，第62军分别在雨母山、头塘、衡阳火车西站等处与日军打援部队第40师团发生剧烈战斗。战况呈白热化状态，交战双方多处展开白刃格斗，经过反复肉搏战争夺战。第470团1营营长林志文阵亡，第471团团长丁克坚牺牲，雨母山阵地失守，援军第62军损失巨大，遭优势日军围攻，自身难保。
此时，日军集中所有的攻城炮兵集中火力猛烈炮击火车西站方面的国军。中国空军亦临空助阵，但只是快快扔完炸弹即急速离开，未能协同步兵作战。而每当国军飞机来时则日军大炮停止射击，国军第62军即发起冲锋；当国军飞机一离开，则日军又发起疯狂反扑。战斗于是成拉锯状态。而援军亦未与城内的第10军联系上，达成配合作战态势，以至解围未成。