徐州为苏北门户，军事要冲，徐州失守，苏北、鲁南全线动摇，蒋介石当即在南京召集军事会议，决定亲自北上，夺回徐州。此时，宁、汉间矛盾已趋缓和，而李宗仁陈兵于芜湖——南京间，却使得蒋如芒刺在背。戎伍起家的蒋介石明白，要摆脱困局，只有在战场上重新杀开一条血路。
7月25日，蒋介石率第一军第二十一师赶赴蚌埠，准备北上一博。至此，第一军基本上均已离开南京。李宗仁对北上态度消极，并对蒋说其部队到徐州会有思乡之情，不宜作战，而不愿向苏北发兵。白崇禧对此态度不明，何应钦的第一路军远在海州一带，无法及时回军。北进收复徐州主要还是依靠王天培的第十军。26日，蒋介石下达作战命令，以第二路，第三路左、右两翼分由东、西、南三面向徐州分进合击。第二路总指挥仍为白崇禧，第三路总指挥蒋自兼，王天培、贺耀组分任所属左、右两翼总指挥，第二十一师为总预备队。
当时，各部距徐州均不过百里左右，蒋介石希望乘孙、张联军新下徐州、立足未稳之机，一举收复徐州。王部随即迅速北进，8月1日下午，进抵徐州城郊，当夜，前锋直逼徐州城下。
第二路于7月31日与敌人发生接触，但直到徐州兵败，始终未组织起像样攻势，该军实际是处于观望状态。
第三路右翼担任正面攻击任务，蒋介石随该路行为，并调预备队二十一师加入，该路战斗力较弱，行进也颇迟缓。经蒋一再督促，并以亲信部队第二十一师殿后，才于8月1日由徐州南面进抵徐州城郊。2日，左、右两翼分别从西、南两面向徐州郊外敌军据点发起强攻，前锋直逼徐城外围敌军最后据点，双方在此展开激烈拉距战，宁军攻势甚猛，徐州城几乎被其合围。
下午，蒋介石亲自抵达距徐城仅7里的云龙山麓督战，并判断敌人险要已失，不会持久，准备部署向徐州追击。然而就在此时，风云突变，敌军紧急自后方及战事较为平稳的陇海路东段抽调大批兵力，向进展最快的左翼第十军全力反扑。第十军进展正顺时，骤遇强劲反击，措手不及，遭遇挫折后即一蹶不振，于下午6时前全线后撤。
当第十军仓皇溃退的时候，第二路又蛰伏不动，担任正面主攻的右翼部队在各路敌军联合夹击下，溃不成军。3日凌晨，蒋介石忍痛下令各军全线后撤，徐州攻击战，功败垂成。6日，蒋介石狼狈逃往南京。为逃避指责，他将此役失败归结于王天培部的溃退，先将王关押，随后秘密处死。
与徐州兵败的同时，蒋介石在政治上也遇到了巨大麻烦。为了确保自己的“正统”地位，汪精卫提出了蒋介石必须下野作为各方和解的强硬条件。
与汪精卫相比，形势对蒋介石十分不利。在南京内部，蒋介石以李宗仁、白崇禧为首的桂系矛盾日益尖锐。5月中旬，李宗仁、王天培等防地直接与汉方对峙的将领曾往武汉政府辖区地江西湖口，与江西省政府主席朱培德会晤。李、王赴赣，是在得到蒋介石同意之后，本身并不越轨。不过，据朱培德报告，李宗仁在会谈中表示：对于宁汉双方的党务之争不负责任，表现出欲充当宁、汉两方之外第三者的姿态。汪精卫据此判断，宁方“内部已经起了分化的趋势”。李宗仁的表态，表现出其欲与蒋介石划清界限的态度。
7、8月间，汉方开始着手分共后，桂系与汉方备要员间更是信函往还，十分热络。但在双方态度尚不明朗、局势难以预料情况下，也不想公开与蒋决裂，不愿看到南京政权基础发生动摇。蒋介石在汉口演说
8月初，南昌起义爆发后，汉方对中共实行武装镇压，这使得桂系大感称心，双方更有意进一步接近。恰巧此时蒋介石又兵败徐州，军威重挫，桂系认为时机已到，开始跃跃欲试，准备出来收拾局面。桂系由李宗仁领衔，致电汉方及冯玉祥等，邀请武汉方面的领导人到南京，召开中央全会，解决党务问题。数封电报，蒋虽然也参与其中，但列名在李、白之后，更多地体现的是桂系的主张。
武汉方面对南京内部的派系之争自然是了如指掌。8月9日，唐生智发出通电，严厉指责蒋介石自立政府，擅开会议，屠杀异己，对蒋穷追猛打。随后，汪精卫等致电李宗仁，号召召开国民党四中全会以解决目前的诸多纷争。唐、汪两人一唱红脸、一唱白脸，中心意思是宁汉合作可以，但蒋介石必须下野，向桂系发出驱蒋合作的信号。
徐州兵败后，蒋介石意识到形势严峻。8月6日，蒋介石召来李宗仁，表示愿意辞职，以承担徐州失败责任。李宗仁因为摸不清底细，惟恐过早表态得罪蒋介石，所以进行全力挽留，一再劝蒋介石放弃辞职打算。
1927年8月11日，国民党中央党部在南京召开会议。在这次会议上，蒋介石提出了辞呈，与会人员自是挽留了一番。蒋介石于8月12日晚宣布辞去国民革命军总司令等本兼各职，次日在上海发表下野宣言，随即乘船去奉化老家。
蒋介石表面上不加张扬地离开南京，但他有着自己的打算：他需要统一，这样可以吞并汪精卫控制的具有法统地位的中央党