红军主力的改编刚一落实，周恩来便考虑与蒋介石讨论南方红军游击队的改编和中共合法机构的问题。何应钦代表蒋介石同周恩来具体商谈，他同意中共派人到南方各游击区，传达中共中央指示，并协助红军游击队改编为国民革命军新编第四军。
通过这次与蒋介石等的谈判，国民党允许在南京、上海等地设立中共代表团和八路军办事处。后来，又在武汉、长沙、兰州等地设立中共代表团办事处、八路军办事处、新四军通讯处等。
谈判中，周恩来强烈要求国民党释放被关押的共产党员。8月18日，他和叶剑英到"首都反省院"，看望被捕的中共党员，经过反复交涉，当天，夏之栩、熊天荆、王根英获释。随后，陶铸、钱瑛、刘宁一、帅孟奇、张琴秋等也都获释。
还是在庐山谈判时，周恩来便提出中共在南京公开出版发行《新华日报》。当再次磋商此事时，很快便收到国民党中央宣传部长邵力子的批文。
周恩来十分高兴，立即和朱德前往拜望国民党元老、监察院院长于右任，请他为《新华日报》题写报名，于右任欣然应允。
8月21日，周恩来要参加将在洛川召开的中央政治局扩大会议，离开南京前往西安，谈判中的未竟事宜，交由叶剑英等继续谈判和交涉。
9月22日，国民党中央通讯社发表《中国共产党为公布国共合作宣言》。23日，蒋介石发表《对中国共产党宣言的谈话》，实际上承认了中国共产党的合法地位。