抗战军兴，徐祖诒出任五战区参谋长。1938年2月上旬，日军进攻临沂，守军告急，徐祖诒亲临前线，协调庞炳勋、张自忠两军团关系。盖当时庞、张二人性格差异较大而互有猜忌，张自忠曾私下对徐祖诒说：“在任何战场，我张某当可拼一死，唯独不愿与庞炳勋在同一战场，此人不可共事。”徐氏至前线，并于两君偕同拟订对日作战计划，奋战数昼夜，击溃板垣师团之一旅，取得临沂大捷。其后，敌人主力迭次投入台儿庄阵地。4月初日军加紧攻击徐州及其周边地区，意在遏制陇海及津浦路，双方调兵频繁，大战一触即发。此时，徐祖诒紧急转赴徐州，部署各部兵力，拟订作战计划，最后以“迫敌于台儿庄一带聚而歼之”的作战方案得到层峰之认同。国军除原有各部外，又紧急调遣李汉魂、黄杰、桂永清、俞济时、宋希濂等部沿陇海线布防。同时军委会另派军令部次长林蔚率参谋团至徐州，担任作战计划之践行。至于击败小矶谷师团，中外震惊。