在和幕僚们闲聊、正式开会了多日后，曾国藩发现，自己的坚持应该放弃，因为祁门的确是险地，一旦再度被围，就没有上次那么好的运气转危为安了。
出祁门前，他重申自己的执意：出去后先打安庆，江南的事，等等。
幕僚们说：“只要能出这个绝地，先打哪里都成，让江南等上一百年又有何妨？！”
1861年4月，曾国藩拔营，湘军秩序井然、斗志昂扬地离开祁门，离开了不堪回首的痛苦之地，走上了安庆战场。
李鸿章、左宗棠的光辉
1861年5月，曾国藩大军抵达长江边的东流，因为有湘军水军的照应，纵然太平军倾巢出动来攻，曾国藩也不再惧怕，所以他是绝对安全了。
就在安庆大战即将开始时，李鸿章也回到了曾国藩大营。李鸿章的回归是必然，当初他离开时，胡林翼就劝他：“你将来必是大贵之人，但千万不可离开曾公，曾公是你人生的天梯。”
李鸿章气鼓鼓地说：“这梯子太拧巴。”
郭嵩焘也写信劝说李鸿章：“一个人崛起时必要有所依，请问，今日之天下，除了曾公外，还有谁能倚靠？”
李鸿章仍是气鼓鼓地说：“不依就不依。”
他话虽是这样说，但在他离开祁门一个月后，曾国藩请他出任江西南昌的行政长官时，他还是毫不犹疑地拿起了南昌大印。同时，他还不停地给曾国藩的幕僚们写信，要他们劝曾国藩无论如何都要离开祁门，因为那是个险地。幕僚们对李鸿章“人在南昌心在祁门”的忠贞所感动，持之以恒地劝说曾国藩离开祁门。