师是蒋介石聘请的德国军事顾问团精心训练出来的两个“近卫师”之一，编制整齐，拥有当时中国军队最先进的装备。张自忠针对敌军装备精良的特点，指挥第6师发起突然猛烈的攻击，奋勇接敌，与之展开近战，发挥刺刀、手榴弹和大刀的威力，使敌军重兵器无法发挥作用。经反复拼杀，终于将敌击溃。蒋军其他各部也因不善白刃战，伤亡惨重，纷纷向南溃退。张治中部奉命担任掩护。张自忠指挥第6师乘机追杀，再歼其一部。教导第2师经此一役，元气大伤。作战中，张自忠勇猛果断，指挥若定，显示了大将之才。他的参谋长张克侠评价说：“其决心坚强，临危振奋。每当情况急迫之时，辄镇静自持，神色夷然。”
反蒋联军当中，虽然西北军屡有胜绩，但桂军与晋军均作战不力。桂军方面，李宗仁于5月下旬挥师入湘，但遭到蒋军反击，7月撤回广西。津浦线方面，晋军节节败退，连丢曲阜、泰安、济南。济南之失对战局影响尤大。阎锡山见战局不妙，即开始图谋自保，甚至断绝了对西北军的粮弹供给，致使西北军陷入孤军苦战。
1930年9月18日，一直坐山观虎斗的东北军统帅张学良宣布放弃中立立场，通电拥蒋，随即挥师入关，占领华北。战局急转直下，反蒋联军败局已定。西北军一部被迫缴械；吉鸿昌、梁冠英、焦文典、葛运隆、孙连仲等部相继投蒋，接受改编；庞炳勋、孙殿英、刘春荣等部脱离西北军，自由行动。冯玉祥眼看众叛亲离，山穷水尽，被迫渡黄河北上。
中原大战结束时，张自忠的第六师除了配属粱冠英的第十七旅随梁投蒋外，尚有第十五、十六旅一部和手枪团大部，约5000人，是西北军残部中最完整的部队之一。
西北军的土崩瓦解，使张自忠同其他将领一样面临着何去何从的选择。当他听说冯玉祥已经北渡，即带领第六师由郑州渡河北上。恰在这时，蒋介石派飞机给他空投委任状，任命他为第二十三路军总指挥，但张自忠拒绝投蒋。他对部下说：“我们做军人的，很要紧的就是忠诚。现在西北军失败了，很多人背叛了冯先生，但我张自忠不会这样做。”第六师随即渡河北上，进入蒋军尚未控制的山西省。
西北军的失败葬送了一大批将领的政治前程。但张自忠是幸运的，他仍掌握着数千人的部队，这成为他谋求新的政治生命的基础。从此，一种不同于西北军时代的新生活开始了。
1930年10月上旬，张自忠率部进入山西。在他前后入晋的西北军将领还有刘汝明、张人杰、吕秀文、童玉振、孙良诚、宋哲元、秦德纯、赵登禹、张维藩等人，各部合计约六七万人。
11月中旬，国民党三届四中全会在南京召开。关于北方军事善后问题，蒋介石决定将晋军和西北军残部改编为边防军，由张学良负责改编，并归其节制。张北返后即着手改编，确定将西北军残部改编为一个军。
在入晋的西北军诸将领当中，以宋哲元资望最高。宋哲元字明轩，山东乐陵人，是西北军五虎上将之一。冯玉祥对他十分赏识，称赞他“勇猛沉着”，“忠实勤勉”，“遇事不苟”，“练兵有方”。为收拾残局，宋哲元派萧振瀛、秦德纯等人同各方联络。张自忠对宋颇有好感，愿意拥戴宋哲元为军长，并推荐好友冯治安为师长。由于第六师在各残部中是装备整齐的劲旅，因此张的态度举足轻重。
1931年1月16日，西北军残部正式编成东北边防军第三军，宋哲元任军长，秦德纯、刘汝明任副军长，冯治安任三十七师师长，张自忠为三十八师师长。同年6月，南京政府开始整编全国陆军，第三军改番号为第二十九军。
中原大战的失败对于张自忠犹如一次脱胎换骨。西北军惨遭败绩、冯先生下野隐退固然令他难过；但同时他也敏锐地意识到，中原大战的结局为避免自相残杀、断送国脉的无益内战的重演提供了可能。作为一个爱国军人，他多么渴望全国的军人能够团结一致，枪口对外，为捍卫祖国而效力!
九一八事变后，日军占领东三省，并于1932年拼凑了伪满洲国。但日本军阀并不以此为满足，复于1933年开始了新的侵略扩张。这次扩张的目标就是与东三省毗邻的热河省。
1933年2月21日，日本关东军以第六、第八师团，独立混成第十四、第三十三旅团和骑兵第四旅团等部为主力，并纠集伪满军张海鹏等部约10万人，在关东军司令官武滕信义指挥下，兵分三路进攻热河。热河省主席兼第五军团总指挥汤玉麟部连同义勇军不下10万人，或逃或降，一触即溃。汤玉麟本人以200辆汽车装运私产，逃往天津。3月4日，日军先头部队128人不费一枪一弹，耀武扬威地占领了热河省会承德。
热河在短短十余天里竞被日军全部占领，举国上下为之震惊和愤慨。张学良被迫辞职，遗职由何应钦代理。
宋哲元虽为第三军团总指挥，但所辖只有一个二十九军。该军扩编后兵力有所增加，但武器装备仍极为低劣，全军只有野炮、山炮10余门，重机枪不过百挺，轻机枪每连只有两挺。步枪多为汉阳造