张自忠的带兵天赋很快显露出来。就任连长三个月后，他的第二连便在全旅各连军事考核中夺得第一，成为十六混成旅的“模范连”。模范连是冯玉祥治军的样板，张自忠得此殊荣，干得更加起劲了。经他训练出来的全连126名士兵，后来几乎个个成才，仅军长、师长就出了十个，旅长、团长就更多了。从这时起，张自忠注重军纪、治军严厉的风格已经十分突出。遇有违反军纪者，他初则说服教育，再则严厉训斥，三则军棍伺候。正如士兵们在歌谣里所唱的：“教你学好不学好，鸭嘴军棍挨上了。”后来，因张自忠对于违反军纪的官兵常说一句口头禅：“看我扒不了你的皮!”于是，被官兵们冠以“张扒皮”的诨号，全军上下无人不晓。一首顺口溜说：“石友三的鞭子，韩复榘的绳，梁冠英的扁担赛如龙，张自忠扒皮真无情！”“张扒皮”的浑号使人误以为此公是个无情无义、粗暴蛮横的武夫，实则不然。张自忠爱兵如子，严中寓恩，深知“治兵先治心”的含义和“恩威并用”的运用之妙。以打军棍为例，张自忠并不是遇过即打，滥施棍杖，而是实行“八不打”，即：有病不打，盛气不打，盛暑不打，饭前不打，无恩不打，罚过不打，夯兵不打，不知不打。可见，张自忠对于如何使用军棍是十分讲究轻重分寸的。
1921年，张自忠升任冯玉祥卫队团第三营营长。三年之后，也就是1924年春，张自忠被冯任命为学兵团团长。但他觉得，以自己的才能和经验，只能勉强当个营长，因而上书恳辞，结果未获批推，只好从命。是年秋，第二次直奉战争爆发。吴佩孚任命冯玉祥为第三军总司令，令其出古北口进击开鲁，但冯玉祥暗中班师回京，与驻防北京的孙岳部里应外合，发动北京政变，囚禁直系首领曹锟，并将溥仪皇帝驱逐出宫。直系军队因后院起火而告失败。在此过程中，张自忠部受命由古北口直趋长辛店，截击吴佩孚的交通兵团，迫其缴械投降。
不久，张自忠奉命移驻丰台。当时丰台已为英军盘踞多年。张自忠率部到达丰台时，英军不准其进入，双方发生争执。
那时候的许多中国军人，在外侮的积威之下，对洋人不免是“闻鸣镝而惊心，对弯庐以屈膝”，但张自忠血气方刚，硬是派一个连强行进驻车站。英方派人前来交涉，张自忠说：“丰台车站是中国的领土，中国军队在自己的领土上执行任务，外国无权干涉：”英军见交涉无效，就武装包围了丰台车站，向我军射击，气焰嚣张。张自忠当即命令车站守军：“他不犯我，我不犯他，他若犯我，坚决消灭他!”守军根据张的命令，一面从正面还击敌人，一面派出一个班突袭敌后，英军不支，被迫撤退。但驻守铁道的英军仍不准我军士兵携带武器，致使双方再起冲突。这次英军派遣一位中国人为代表前来谈判，要求中国军队撤兵。张自忠义正辞严：“这是中国的领土，不是英国的地盘，撤退的应该是他们！”一句话说得来人哑口无言。英军见碰上了强硬的对手，只好认输。从此，被英军盘踞多年的丰台车站重新回到中国人手中。
“勇于私斗，怯于公战；内战内行，外战外行。”这是对那些热衷于国内混战，而惯于对外妥协的军阀们的生动写照。而张自忠第一次与洋人接触，便显示了铁骨铮铮、不畏强暴的本色。时人评论说：“张自忠以他平时的人格的修养，独能以不屈不挠的态度，应付他们，较之当日的统兵大员，已觉出人头地一等。”
二次“北伐”后，西北军的实力得到扩张，成为蒋、冯、阎、桂四大军事集团中兵力最为雄厚的一个。这自然引起蒋介石的嫉妒。为削弱冯、阎、桂各系军队实力，蒋介石以减少军费负担、从事经济建设为名，提出裁军问题。1929年1月1日，蒋介石主持召开编遣会议，强行确定全国设立8个编遣区，其中4个由自己控制。蒋介石还规定，全国军队的一切权力收归中央；各军原地静候改编；各集团军无权自行调动和任免军官。这种做法引起冯、阎、桂各派的强烈不满。冯、阎、桂各系遂组成反蒋联军，武力倒蒋。
1930年5月，中国近代史上规模空前的军阀混战——蒋冯阎中原大战爆发了，双方投入的兵力高达130万人。此时，张自忠任第6师师长，编入张维玺统领的南路军。5月初，南路军首先在平汉线向蒋军开战，拉开了中原大战的帷幕。5月中旬，当张自忠指挥第6师进抵许昌十五里店时，此地已为蒋军徐源泉部占领。因十五里店是双方必争的战略要点，张维玺严令张自忠限期夺回。张自忠遂指挥所部乘夜暗发起猛攻，势如疾风暴雨，一夜之间克复十五里店。6月中旬，第6师将蒋军丁治磐部击退，得到孙连仲部支援后又转守为攻，猛烈出击，蒋军抵挡不住，全线溃退至漯河一带。此时，南路军如乘胜南追，直趋信阳，战局将十分有利。但冯玉祥顾虑蒋军主力从豫东发动进攻，故将张自忠等部由平汉线转用于陇海线，支援东路军。到达陇海线战场后，张自忠奉命向蒋军左侧攻击，在杞县、太康之间的高贤集与蒋军精锐张治中之教导第2师相遇。这两位姓氏相同，名字相近，且被许多人误为一人的名将，随即展开了激烈的对攻战。教导第2