当南京城破了以后，原本坚守南京城光华门阵地的新一团，被日军打得狼狈不堪，只能够跟随着大部分渡过长江往北撤退，突破日军的封锁线。
当时，作为新一团团长的孙文武，只带领着不到二百人，也就是一个连的兵力，跟随着突破日军包围圈和封锁线的大部队，朝着徐州的方向撤退，到了徐州附近以后，休整了大半个月的时间，补充了上千人的兵力，以及武器弹药，重新恢复了新一团的编制。
一九三七年十二月，侵略华东的日军侵占南京后，第十三师团北渡长江，进至安徽池河东岸的藕塘、明光一线；侵略华北的日军第十师团从山东青城、济阳间南渡黄河，占领济南后，进至济宁、蒙阴、青岛一线。
日本大本营为打通津浦铁路（天津-浦口），使南北战场联成一片，先后调集八个师团另三个旅团、两个支队（相当于旅团）约二十四万人，分别由华中派遣军（一九三八年年二月十八日由华中方面军改编）司令官畑俊六和华北方面军司令官寺内寿一指挥，实行南北对进，首先攻占华东战略要地徐州，然后沿陇海铁路（兰州-连云港）西取郑州，再沿平汉铁路（北京-汉口）南夺武汉。
中国军队由第五战区司令长官李宗仁指挥，先后调集六十四个师另三个旅约6六十万人，以主力集中于徐州以北地区，抗击北线日军南犯，一部兵力部署于津浦铁路南段，阻止南线日军北进，以确保徐州不落入日军之手。
一九三八年一月二十六日，日军第十三师团向安徽凤阳、蚌埠进攻。
中国守军第十一集团军第三十一军在池河西岸地区逐次抵抗后，向定远、凤阳以西撤退。到了一九三八年二月三日，日军先后攻占临淮关、蚌埠。
二月九日到十日，日军第十三师团主力分别在蚌埠、临淮关强渡淮河，向北岸发起进攻，中国守军第五十一军与日军展开激战，伤亡甚重，十二日向澥河、浍河方向撤退。
第五战区以第五十九军军长张自忠率部驰援，进至固镇地区，协同第五十一军在淮河北岸地区顽强抗击日军
同时，在淮河南岸，以第二十一集团军第四十八军固守炉桥地区，第七军协同第三十一军迂回攻击定远日军侧后，迫日军第十三师团主力由淮河北岸回援。
第五十九、第第五十一军乘势反攻，至三月初恢复淮河以北全部阵地。第二十一集团军和第三十一军旋由淮河南岸向北岸集中。双方隔河对峙。
二月下旬，日军第二集团军开始分路南犯。东路第五师从山东潍县（今潍坊）南下，连陷沂水、莒县、日照，直扑临沂。
第三军团第四十军等部节节抵抗。第五十九军奉命驰援，三月十二日到达临沂北郊的沂河西岸，协同第四十军实施反击，激战五个昼夜，重创日军，迫其向莒县撤退。
西路日军第十师长濑支队（相当于旅）从济宁地区西渡运河，向嘉祥进攻，遭第三集团军顽强抵抗，进攻受挫；濑谷支队（相当于旅）沿津浦铁路南进，三月十四日由邹县（今邹城）以南的两下店进攻滕县（今滕州）。
中国守军第二十二集团军第四十一军英勇抗击，伤亡甚重，苦战至十七日，该军守城的第一二二师师长王铭章殉国，滕县失守。
滕县之战，中国军队以七千之兵对付装备精良的日军数万之众，不惜重大牺牲，阻止日军南下，延缓了日军南侵的脚步，为调集军队守卫台儿庄的战略部署赢得了时间。
日军占领滕县后，骄狂之极，尽其所有，直赴台儿庄。日军兵力四万余，坦克车七八十辆，山野炮和重炮百余门，并以大批飞机助战，三月二十三日，冲到台儿庄北泥沟车站。
二十四日凌晨，日军以猛烈的炮火轰击台儿庄防御工事，随后以坦克为前导，冲进城内。台儿庄一带宅室多为石头建
