刘宴遇害之后，皇帝正式发布诏书，公布刘晏的“罪状”。
但平生刘宴口碑不差，朝野上下，心中一致都认为刘晏冤枉。有几位与刘宴交好的官员替他申冤，均惹怒龙颜，加上杨炎排斥驳回，不再有人敢于发言。
若是郭子仪在朝，他还敢直言谏君，可惜他如今年迈，卧病在榻，不参朝政许久。
谨终奉君王了结刘宴，执行任务原本不该多心，只是后来觉察到杨炎异样，日益思及此事，都觉得冤枉了刘宴。
思前想后，谨终还是决定将杨炎的异常告知君王:“陛下，荆南节度使庾准极其巴结杨炎，他们一唱一和无中生有刘宴结兵造反，杨炎此人万不可信。”
“嗯，知道了。”碍于帝王的骄傲，李适面无表情，不想去承认误杀刘宴的过失，案牍劳形，他忙碌地批阅起奏折来。
顺手展开的，是平卢节度使李正己的奏折，狼毫锐利，陈辞锋芒，上表的叙述内容还是以往所呈过的。
李正己本就因自立为统帅的刘文喜被害死而恐惧生怖，这下刘宴之死更令他心头添了一层焦虑，就连屋顶上的风啸啸飞过，李正己觉风声鹤唳，草木皆兵。为此，他多次上表朝廷，询问刘宴何罪被杀。奏折展开，李适眉头紧锁，能从言辞中觉察到李正己对唐廷的不满。
彼时谨终想起所听闻的，未免使君王动气，试图要委婉讲出来:“陛下，杨炎担心自己被视为陷害刘宴的罪魁祸首，就派遣使者前往各镇，说杀害刘宴是……不是他的想法。”
李适扬起眉眼:“哦？那他认为是谁的想法？”
“是……是陛下的想法。”
还是无法委婉，最后一话咬牙切齿，谨终关切地望向龙颜，果不其然，李适吊眉锋利，胸中怒火大起，“为了自己的名誉，杨炎这是要将一切过错往帝王身上推吗！”
谨终又忙表示自己只是道听途说，皇帝就派宦官窦文场到李正己那里核实情况，几天之后得来的果然如此！
自此，皇帝开始厌烦杨炎，逐渐产生了诛杀杨炎的想法，但暂时还隐而未发。先是提升卢杞为门下侍郎，剥夺了杨炎的实权，改任为中书侍郎，两人一同共事。
偏偏卢杞也不是个心善的，况且他丑陋不已，越发嫉妒杨炎的眉目俊朗，勾引斗角更厉害上几倍。
这日李适着实为藩镇头疼，遇上梁崇义割据襄汉七州之地，居功自傲自己开山做大王！常常轻蔑于朝廷，不申报地方户口，不纳税上贡，更是坦言如今新君都得礼让他三分！
对此杨炎提出策略，派自己的党羽李舟去劝说梁崇义，结果梁崇义顽固不听，觉得皇帝在责其不臣之心，朝廷在挑衅他的实力，惹得他血盟一弑，决意扩大镇守之地，发起叛乱，起兵攻打江陵。
朝臣议论起来，都归罪于杨炎，称他献计求和无果反惹得叛乱，得不偿失，认为是杨炎促成梁崇义反叛。
梁崇义发起反叛，朝中商讨对策，皇帝欲任命淮西节度使李希烈统领各军讨伐梁崇义。
杨炎听闻之后劝谏：“陛下，李希烈的仕途主要依靠养父李忠臣，深得养父的信任最后却过河拆桥，驱逐养父并夺取其位置。陛下，李希烈就是只白眼狼啊！没有立功前已是桀骜不驯，假使他平定了梁崇义，您拿什么来控制他？”
在此之前，梁崇义的叛乱已经引发不少对杨炎的非议，加上这事杨炎对方打压李希烈，皇帝对他更加不满，对杨炎的劝谏全然不信，派李希烈抗敌已是不二人选。
此后，李希烈因天气原因而推迟进军，卢杞捉得了茬，心眼如生了疮的莲藕，忙报陛下:“李希烈听说自己被杨炎多次阻挠陛下重用，如今才不肯进军，请求陛下撤去杨炎的宰相实权，以此鼓舞李希烈进军。”
事发有月余，杨炎被改任为左仆射，实权剥夺。
李希烈也不负朝廷所托，讨伐梁崇义一战捷报频传，击溃叛军。
朝廷沉浸在喜悦的气氛中，李希烈并未以功挟朝廷，一切归为平静。皇帝觉得，这越发验证了杨炎先前的劝谏疏漏多余。
一来二去，君恩耗尽。有了间隙，皇帝对于杨炎其他劝谏以及举荐官员的议论都觉不爽。寻到由头最后一锤重击，罢免了杨炎的宰相之职。