中书舍人张焘，也赶紧前去拜见张浚说：“吕祉是一介书生，不懂军旅，怎么能把这么大的事情轻易交付给他呢！”但是嫉妒岳飞的心理使得张浚失去了理智，他根本不听张涛的劝告。此时，张浚考虑的不是谁能带领这支军队，而是这支军队不能让岳飞带领。
吕祉又请求辟都督府准备差遣陈克跟随他一起去，资政殿学士叶梦得与陈克关系很好，就告诉他说：“吕安老并非驭将之才，你是一个诗人，并非国士。淮西诸军之间互有纷纷争论，你这次前行，很危险啊！”陈克也没有听从他的劝阻。吕祉、陈克都把家人留下，自己以单骑从军去了。
岳飞看到这些朝臣从中掣肘，不想给他增加兵力，整天以小人之心度君子之腹，非常气愤。他即日以回家给母亲服丧为理由，上章请求解去兵柄，免得朝廷大臣认为他贪恋兵权。朝廷还没有答应他，他就让下属张宪摄管军事，自己径自跑回去了，就住在庐山母亲的墓地旁边。
张浚看到这种情况，大为震怒，就奏请皇上任命兵部侍郎张宗元代理湖北、京西宣抚判官，去鄂州监护岳飞的军队。
当时岳家军由张宪统领，这时接到了由代理宣抚判官张宗元来接替他职责的消息，军中士兵议论纷纷说：“张侍郎这次前来统军，我们的岳公就不再回还了。”这时，直宝文阁、新知襄阳府薛弼在武昌，听说了这件事，害怕引起兵变，没有来得及上奏，就赶紧请张宪勉强出面安抚军队，张宪于是宣谕这些小校将士说：“这次张侍郎前来，是因为我们的岳公请他来的，大家不要担心惊慌。岳公刚才解除军政不久，你们就这样，岳公听闻之后也会不高兴的。现在朝廷已经派遣敕使前去召回我们岳公了，张侍郎并非久留之人。”士兵于是才安定下来。
宋帝赵构经过前面几次和岳飞的接触，知道岳飞的才华远远大于满朝文武。如果岳飞能克服年轻气盛的缺点，将来前途不可限量。因此，宋帝赵构多次下诏催促岳飞赶紧回来就职，岳飞仍然尽力推辞。
在庐山的这一段时间，岳飞内心非常矛盾，报国无门，忠孝不全，真是非常苦闷，就写下了这首着名的《送轸上人之庐山》：
何处高人云路迷，相逢忽荐目前机。
偶看菜叶随流水，知有茅茨在翠微。
琐细夜谈皆可听，烟霏秋雨欲同归。
翛然又向诸方去，无数山供玉尘挥。
宋帝知道，如果岳飞不被自己任用，一旦被其他人利用，那将是灭顶之灾。因此宋帝赵构软硬兼施，这次下诏专门派遣岳飞以前的幕属参议官李若虚、统制官王贵去庐山东林寺请岳飞回来官复原职，否则他们都要以死论罪。岳飞一看自己如果不回去任职，自己的这几个下属交不了差，都要被处死，无奈之际在六天之后回到朝廷待罪。
张浚见到岳飞，就说了宋帝赵构非常器重眷遇他，并且责备他不请假就弃军而去的行为不对。岳飞就写了奏表待罪，宋帝赵构又安慰了一下他。岳飞准备离开朝廷到军队去之时，宋帝赵构给岳飞说：“卿前日奏陈轻率，朕其实不怪怒卿；如果怪怒卿的话，则必定有处理行遣，也就是太祖所说的‘犯吾法者，惟有剑耳’。今天之所以再次让卿典军，任卿以恢复之大事，你可以知道朕无怒卿之意了吧。”岳飞看到宋帝赵构这么说，于是就放心了。后来岳飞派遣敏求前来朝廷奏事，委曲感恩，说道：“如果不是官家（皇上）保全，臣何以有今日！”第二天，宋帝把岳飞的感谢之语告诉了朝廷辅臣，意思是岳飞现在情绪平稳，不再意气用事了。秦桧听说皇帝和岳飞关系良好之后，很是不高兴。
岳飞重新回到部队后，前一段时间代理他的兵部侍郎张宗元就从岳家军中回来了。他回到朝廷后就上奏说：“岳家军管理良好，将和士锐，人怀忠孝，这些都是岳飞平时训养所致的。”宋帝赵构听后非常高兴。
岳飞血气方刚，一心想着像当年霍去病那样，横行沙漠、直捣黄龙府、迎回二圣。因此刚才一回到部队，他就又连忙上奏说：“前一段时间圣上把臣招至寝阁，当时就对臣说圣断已经坚定，准备御驾亲征，为什么到现在尚未决定下来呢？臣愿提兵进讨，以顺天道，大固人心。臣愿意以瘦弱士兵当作老壮士兵使用，以顺讨逆，一定会取得万全之效果。”这个奏章自然犹如泥牛入海，没有了音讯。
就在这时，金右监军完颜昌居住在祁州，都监完颜宗弼从黎阳回归到了燕山，完颜杲居住在云中。他们看到天气逐渐炎热，就准备休整一下，等待炎热天气过去、秋高马肥天凉之际再南下侵略。
欲知后事如何，且听下回分解。
喜欢宋帝心事有谁知请大家收藏：(m.20xs.org)宋帝心事有谁知20小说网更新速度全网最快。