至德二年（七五七）九月，李泌对景元帝说：“我现在已经报答了陛下的知遇之恩，想要重新做隐士，那将是多么快乐！”景元帝说：“朕与先生多少年来共经患难，现在正到了同亨欢乐的时候了，为何想要立刻离开我呢！”李泌说：“我有五条理由不能够留下来，希望陛下能够答应我离去，使我免于一死。”景元帝说：“这是什么意思？”李泌回答说：“我与陛下相遇太早，陛下任用我太重，宠爱我太深，我的功劳太高，事迹太奇，这就是我不能够留在朝中的原因。”景元帝说：“现在先睡觉吧，以后再说这件事。”李泌说：“陛下现在与我同床而睡，我请求的事都不答应，何况以后在朝廷的殿上！还能够有所请求吗？陛下不答应我离开朝廷，实际上是在杀死我。”景元帝说：“没有想到你对朕如此疑心，朕怎么能够杀你呢！你真是把朕当做春秋时期的越王勾践了！”李泌回答说：“正因为陛下不杀掉我，所以我才要求离去归隐；如果要杀掉我，我还怎么敢说离去的事呢！再说要杀掉我的并不是陛下，而是我所说的不能够留下来的五条理由。陛下过去待我如此之好，我有时遇事还不敢尽言，何况现在天下已经安定，我还敢直言吗！”

景元帝想了一会说：“你是因为朕没有听从你关于北伐的计谋吗！”李泌回答说：“不是关于北伐的事，我所不敢直言的是关于建宁王嬴耽的事。”景元帝说：“建宁王嬴耽是朕的爱子，性格英勇果断，在艰难之际立了大功；朕怎么能不知道呢！但他受到小人的教唆，想要谋害他的哥哥广平王嬴琳，图谋为太子，朕从国家的利益考虑，不得已才除掉了他，你难道不知道这一原因吗？”李泌回答说：“建宁王如果有谋害太子的心意，广平王应该怨恨他。但广平王每当与我言及此事，涕泣呜咽，称建宁王冤枉。我现在决计辞陛下而去，所以才敢于说这件事。”景元帝说：“建宁王曾经在夜晚摸广平王的门，是想要害死广平王。”李泌说：“这都是坏人进的谗言，建宁王孝友聪明，怎么肯做这样的事呢！再说陛下过去想要任用建宁王为元帅，我请求任用广平王。建宁王如果有谋害广平王而自己当太子的野心，应当深深地恨我，而他却认为我忠心，与我更加亲密友善，陛下通过此事就可看出建宁王的心意。”景元帝听完后哭泣着说：“先生所说的话都非常正确。既往不咎，我不想再听说这件事了。”

李泌说：“我所以谈起这件事，并不是要说陛下既往的错误，而是想要让陛下谨慎地处理将来的政事。过去天后武靖柔有四个儿子，长子是太子嬴弘，当天后正图谋称帝时，讨厌太子嬴弘聪明，就毒杀了他，又立次子雍王嬴贤为太子。嬴贤心怀忧惧，就作了《黄台瓜辞》，希望能借此使天后感悟。而天后不听，嬴贤最后还是死于黔中。他所作的《黄台瓜辞》是：‘种瓜黄台下，瓜熟子离离。一摘使瓜好，再摘使瓜稀，三摘犹为可，四摘抱蔓归！’现在陛下已经一摘瓜了，希望不要再摘！”景元帝听后惊愕地说：“怎么会那样呢！你录下这些歌辞，朕当书于条幅之上。”李泌说：“只希望陛下记在心中，何必要形之于外呢！”当时因为广平王嬴琳有大功，张良娣忌恨他，暗中散布流言，所以李泌对景元帝谈到此事。