共产党此刻也到了危急关头。他们是应该利用国民党内部的分裂使左派卷入这场暴力斗争呢？还是应等待时机并继续维护党派联盟？共产党内部也产生了分歧。
1927年4月27日，80名代表——代表着5．8万名共产党员，在武汉召开了第五次代表大会。在一项决议中，决定剥夺共产党控制区内大地主和反革命分子的财产。但对属于民族主义军队官员的土地则给予特别的豁免。
在长沙，一群共产党员已在城市和乡村积极行动起来，地方军的指挥官逮捕并处决了近百名“闹事者”，一些领导人及时地逃过了逮捕。他们当中的刘少奇，后来曾任中华人民共和国主席。
北方战争又开始了。4月24日，蒋介石主持召开海军和陆军会议，决定重新开始北伐。然而几乎是同时，南京方面发现武汉政权也有同样的打算，于是，北伐再次搁浅。
武汉的军队开始向南京挺进，南京的军队亦向武汉开拔。
信奉基督教的冯玉祥将军似乎意识到这是一个机会，趁机占领了陇海线的东段。这样一来，汪的北方便受到了侧翼包围，而南方则将了对方。
这一局面是很僵的，而这一僵局只有冯玉祥才能打破。无论是汪精卫还是蒋介石，离开了冯玉祥，谁都束手无策。于是，二人都改变了策略。
在这一关头，蒋介石碰到了好运。斯大林的共产国际代表——印度人m.n.罗易给汪精卫看了一份来自莫斯科的电报，电报上明确声称共产党要接管政权。罗易显然希望汪能够对如此广阔的革命前景和美好的未来而高兴，并与共产党携手并进，但是，这份电报反而使汪感到焦虑。因为在他看来，与共产党合作注定要失败（正如蒋一贯坚持的主张一样）。
江与他的左翼同事都很忧虑，他们把希望寄托在冯玉祥身上，希望他能想出个办法。冯请汪和其他左翼领袖来郑州商量。
会谈从1927年6月10日开始，持续了三天。武汉方面的领导人对冯玉祥作了一些边界上的让步，但实际上只是空头支票。
随后，冯玉祥于19日到东部的徐州与蒋介石会晤。两天以后，两人达成了完全一致的意见。这便意味着冯已决定支持蒋，并向汪精卫施加压力。21日，冯给汪拍了一份电报，敦促他立即释放在押的鲍罗廷，并说武汉方面的官员，有意者可以加入南京国民政府。他还补充说，无意加入者应利用这一时机去外国访问。
汪对蒋仍待有敌意，但是力量的平衡现已发生了不利于汪的倾斜。7月15日，汪决定反共，16日，下令屠杀共产党人。
罗易已于3日离开，鲍罗廷是在27日离开的。
加伦来到上海向蒋告别。尽管他被任命为武汉政府的首席军事顾问，但两人之间的私人关系很好。很多年之后，蒋曾这样写到：“这是我一生中最感人的离别。”
中国共产党在困境中试图通过暴力东山再起。从8月起直至年底，他们举行了三次武装起义，但都失败了。
8月1日举行的第一次起义具有双重的历史意义。共产党如今视之为人民解放军的建军节而加以庆祝，西方的历史学家则把它看作是民族主义者与共产主义者之间第一次内战的开端（共产党的历史学家也同意内战开始于8月1日，但他们称之为第二次国内革命战争，视北伐为第一次国内革命战争。
周恩来此刻到了江西省省会南昌。他了解到一部分由共产党军官领导的部队驻扎并活动于这一城市附近。他和他的同事们认为，如果这些共产党人发动一次起义，并把他们的部队拉过来，那么共产党就可能有一支自己的核心武装力量。而且，当时南昌公安局的领导人是朱德将军，他后来成为中国人民解放军的总司令，其他人后来也都功名显赫，其中包括林彪和陈毅。
共产党占领了南昌城，但后又失守，因为一名国民党军官并不像他们先前所料想的那样赞同这一计划。
尽管武汉方面也开始迫害共产党，但并无迹象表明他们拥护蒋介石。
东部军阀孙传芳乘机利用武汉与南京之间的敌意，发起了一次反攻，把蒋的部队赶出了他们所占领的长江北岸的几乎所有的地盘。武汉军队继续向南对蒋发动进攻，这样蒋就抽不出军队来抵挡孙传芳了。
冯玉祥为了自己的利益，同时出于为蒋着想的目的，试图在此刻发挥一点儿作用。他建议武汉与南京两个对立政府各派代表，在他认为是“中立”的吉祥宝地安庆举行会谈。
按照冯的意思，他于8月份在郑州与蒋举行第二次会谈。开始时，蒋曾派穆斯林马福湘将军带去一个友好的消息：“蒋愿意和你结拜为兄弟，”冯的回答是：“大好了。”冯玉祥继续讲道：
于是，蒋和我彼此交换了生辰八字，成了结拜兄弟，那次会上，我们相互叩头四次（为的是完成这一结拜仪式）。
蒋问我，“现在我们已经成了最好的朋友，你准备怎样开导我呢？”我告诉他：“人民是我们的主人。我们应该做他们所希望的事，而不做他们所厌恶的事。”
“还有别的吗，大哥？”蒋又问道。我说：“如果我们能做到刚才我说的那些，那我们就可以实施孙中山博士的三民主义了。既然你再一次问我，我就这样告诉你，我们必须毫不含糊地与我们的士兵同甘苦，共患难。他们吃什么，我们吃什么；他们穿什么，我们穿什么。如果你能做到这一点，我们的革命就会成功。”
蒋回答到：“很好，我们必须这么做。”
蒋介石可能看到只有一个办法才能打破这一僵局：既然他是争议的真正所在，那么他不得不走。最引人注目的大概就是他屡次提出辞职。
1927年8月13日，他发表了一篇辞职声明。声明中说：
“老百姓的视力和听力已开始失去往日的敏锐和灵敏。在近三个月至四个月的日子里，北伐几乎进展到山东边界。为什么我们向前推进得那么快？而为什么我们现在的速度又这样慢？请静静地想一想，细心地考虑一下吧，原因是很容易理解的。”
至于他本人，他一直在考虑辞职这件事，但在时机还不成熟时，他不能过早辞职。如果他过早辞职，“那么，我党将承受如下苦难。第一，我们将失去灵魂，只留下肉体。星星将脱离自己的位置，事物将相互转换，我担心就连国民党这一名称恐怕也不复存在……”
他说，他希望武汉的同僚们能够加入到南京方面来，北伐重新开始，湖南、湖北和江西的共产党被“彻底地消除”。并说，尽管他已辞去了所有的职务，但作为国民党党员和一名中国公民，他将继续履行他的职责，“只要我还有一口气。”
最后这句话有点不吉祥。但是，听到最后这一句誓言的人很少。在蒋看来，而且他也一直这样认为，他的辞职表明他是一个必不可少的人，一个唯一可信赖的“中国的救世主”。
但是，蒋的离职确实缓和了当时的紧张局势。冯将军提出的召开安庆会议的建议现在看来已没有任何意义了。
1927年8月14日，以胡汉民为首的南京方面的五位主要政客以带有讽刺意味的古文体联合给冯玉祥写了一封信。他们问道：当双方仍在激战的时候举行会谈是不是太荒谬了？“玉石和丝绸——友谊的赠品——加上刺刀和长矛——战争的武器，被交替和同时使用，这不成了全世界的笑柄了吗？”
当蒋的辞职被宣布的时候，他已于8月12日前离开了南京，踏上了返回家乡奉化的路程，随行的保镖二百人。他在上海逗留了几天；随后，胡汉民等人一路跟随着他。
家乡的群山挺拔宁静，深深地吸引了他。他把住所安置在雪窦寺。这是浙江一座山脊上的佛教寺院。随行人员住在溪口，这里是他的出生地，离蒋的住地约六英里，地势低3000多英尺。
蒋向追随而来的美国来宾声称，他打算在今后的五年里走访国外，学习政治、经济和军事战略，这话或许带有瞬间的诚意。
一个新闻记者写道：“他的引退是一个神话，”
蒋身披中国式的长袍，显出一种学者的风度和守旧的外观，这与军事政治家那种生气勃勃的形象颇为不符。大量的信件送到他的手里。
那时，他还未完全从国家事务中摆脱出来，但是不管怎样，他的压力减少了，而且他可以集中精力转向其个人生活方面。
他的第一次婚姻是一个悲剧；尽管有了一个儿子蒋经国。
这暗示着他与其妻只具有一种最低限度的亲密关系。他几乎不了解他的妻子毛福梅。首先是他的军事训练，其次是革命，这些事情耗费了他的精力，也吸引了他的兴趣。
在他为数不多的探家期间，毛反复劝说他放弃戎马生涯，但这几乎等于让他放弃生活。这样的彼此缺乏理解或许就是他对毛粗暴的原因。她的兴趣所在是家务，政治让她感到迷惑并且她也不为之所动。
1921年，也许是因为蒋遇到了他的第二任妻子——陈洁如，他决定离婚。
霍灵顿·唐宣称这一安排是非常友好的，并且对她很慷慨。但这一评论与事实是不相符的。在蒋看来，此举意在摆脱其前妻。
当时，在给内弟的一封信中，蒋这样写道：“在过去的十年中，我简直难以忍受她的脚步声或她的身影，至今为止，家的概念已是名存实亡了。