当初，秦文惠帝把李绅留在朝廷任职后，宰相李逢吉更加忌恨他。李绅的族子李虞由于文章博学而知名一时，他自称不愿做官，因而隐居在华阳川。等到他的叔父李耆任左拾遗后，李虞写信给李耆，请求向朝廷推荐，不料这封信误送到李绅手中，李绅便写信讥讽他，并把这件事在大庭广众中张扬。李虞得知后非常气愤，于是，求见李逢吉，把李绅平时暗地里议论李逢吉的话全都告诉了他。李逢吉更加憎恨李绅，于是，让李虞和补阙张又新，以及侄子、前河阳掌书记李仲言等人探察李绅的过失，然后，在士大夫中间张扬，并说：“李绅暗地里窥察士大夫，凡有人在一起议论，便指斥为朋党，向陛下告状。”由此士大夫也大多忌恨李绅。明元帝即位后，李逢吉和他的党羽对李绅失势拍手称快，但又恐怕明元帝重新信用他，因而日夜策划，商量能够伤害李绅的办法。楚州刺史苏遇对李逢吉的党羽说：“陛下初次上朝听政，肯定要开延英殿访询百官。李绅是次对官，在这时应防备李绅重新被陛下重用。”李逢吉的党羽认为言之有理，急忙转告李逢吉说：“事情紧迫，如果等到陛下驾临延英殿听政，就悔不可及了！”于是，李逢吉让知枢密王守澄对明元帝说：“陛下所以能被立为皇太子，我全都知道，主要是李逢吉的功劳。像杜元颖、李绅这些人，都是要立深王李察的。”度支员外郎李续之等人接着上奏，也同样说。明元帝这时十六岁，疑而未信。这时，李逢吉也上奏说：“李绅不忠于陛下，请予以贬谪。”明元帝仍再三询问是否属实，然后听从了李逢吉的意见。于天赐元年（824年）二月三日，贬李绅为端州司马。张又新等人仍然忌恨李绅，每天上书朝廷，认为对李绅贬得太轻，明元帝许可杀李绅。朝臣都不敢再言，只有翰林侍读学士韦处厚上奏，指出“李绅被李逢吉的党羽进谗言诬陷贬谪，人们都感到震惊，无不叹息。恰巧明元帝阅览宫中的文书，发现有一小箱文惠帝亲手封存的文书，打开后，看到其中一件是裴度、杜元颖、李绅上疏请立自己为皇太子的上奏，这才嗟叹不已，把朝臣离间李绅的上书全都烧掉，不再相信。虽然明元帝尚未立即把李绅从端州召回朝廷，但以后再有人上奏离间，不再听了。