到衡阳练兵的曾国藩，面临着诸多困难。比如：没有办公地点，在地方上没有名正言顺的职权，也是没有带兵的经验。
这些困难已经让曾国藩举步维艰，但是相比于筹集军饷来说，以上这些又根本就不算什么了。
办团练，朝廷那可是不给一分钱的，只有曾国藩自己去解决，那他能有什么办法呢？还不就只能去劝大户捐钱。你想想看，找人要钱这种事情要有多难搞？曾国藩只好软硬兼施，一方面给愿意捐款的人一些荣誉性的名头，发个奖状啥的，反正都是些虚名。另一方面呢？如果敬酒不吃的话，他只好强行勒派，这也自然招致地方大户的重重怨恨。
为了筹饷找人捐款还给自己惹来了祸事。当时原湖北巡抚的孙子叫做杨江，这个人挺不错的，急公好义，主动捐赠了曾国藩两万两白银，曾国藩感动之余想把他树为表率，带动捐款事业。于是就上疏皇帝，请朝廷追加他已故的爷爷一个光荣称号。
但是咸丰帝发现这个爷爷，生前为官平平，还受过处分，根本不配这份荣誉。但其实当时军务紧急，就算同意这个请求也不是啥大不了的事情。可是这位精于小事疏于大计的咸丰皇帝根本不体谅曾国藩的难处，大发雷霆，说他这样做完全就是袒护同乡，以私废公，可恶至极。差点就把他革职拿办，最后是降级留用。
你看，曾国藩筹集个军饷还把自己的乌纱帽都弄打折了，从二品降到了三品。他自己就感叹：“劝捐之难，难于登天啊。”
1853年曾国藩开始创办湘军，第二年出师，这一年多的时间里，除了要解决用人，筹饷、购买军备、建立制度等等难题之外，还有一个巨大的外部压力，就来自于咸丰皇帝。
湘军倾注了曾国藩的全部心力，他要用这只军队来挽救大清的危亡，所以在没有真正练成之前，他是绝对不敢轻易出兵的。正所谓，剑戟不利，不可以断割；羽翼不丰，不可以高飞。但是在咸丰皇帝的眼中，湘军的创立，根本算不上什么大事儿。咸丰皇帝多次要求曾国藩出兵
湘军羽翼未丰，他只要找各种借口搪塞，拖延不去。有次曾国藩拒绝出兵庐州，把咸丰给惹恼了，他降旨严厉斥责曾国藩。可曾国藩回复说：我当初在家守孝，是你非要我出山。我带兵本来就没啥经验，处处都是困难，所以不得不再三的准备。如果你现在逼我出兵，我肯定失败。与其失败之后你治我欺君之罪，倒不如现在你就治我个畏缩不前之罪好了。我一个文臣练兵，不能在家守孝，已经受到士林讥讽，现在以大言欺世，又要受到全天下的嘲笑，我还有什么面目活在这个世上。想到这些，我晚上都是一个人偷偷的躲在被窝里哭，你知道吗？
曾国藩表现出一副死猪不怕开水烫的架势，反正现在就是不出兵，你要怎么处分我随便吧。
曾国藩的拒不出兵，不仅折损了好友江中源性命，还葬送了自己师座
吴文镕的性命。
江中源是挚友，吴文镕是恩师，都因为自己的按兵不动，使得两个人先后兵败自杀，而庐州与武昌也相继沦陷。此时曾国藩的心理压力之大可想而知。
曾国藩几次抗旨，为练兵赢得了宝贵的时间，使湘军免遭轻进覆灭之灾，为日后彻底平定太平天国积蓄了基本力量。但是咸丰皇帝自从登基以来，还没有哪个像曾国藩一样的一而再再而三的顶撞违抗他的命令，这当然让咸丰皇帝对他的厌恶与日俱增。
在湘军创建的过程中，曾国藩扛过了太多的困难与折磨，他当时用蚊子背大山，蜈蚣过大江来比喻自己的处境。在重重困难之中，他心里也打过退堂鼓，但是一想到长沙之辱，便心境难平。他一定要让当初逼他出走衡阳的湖南官员们看一看，到底谁能笑到最后。经过这一年的时间，历经千辛万苦，湘军终于初具规模。
