房琯喜欢接交朋友，爱好高谈阔论，引荐了许多知名士人，而鄙视无名庸俗之辈，所以很多人怨恨他。北海太守贺兰进明到达行在，景元帝命令房琯任命贺兰进明为南海太守，兼御史大夫，并充任岭南节度使，而房琯却任命贺兰进明为代理御史大夫。贺兰进明入朝谢恩，肃宗感到奇怪，贺兰进明乘机说自己与房琯有矛盾，并说：“西晋任用王衍为三公，因为崇尚浮华虚名，致使五胡乱华，中原沦陷。现在房琯喜好迂阔不切实际的言论而图虚名，所引用的人都是轻浮之辈，真是第二个王衍！陛下任用这样的人为宰相，恐怕对国家不利。再说房琯在成都辅佐太上皇，使陛下与诸王分别为各道节度使，而把陛下分置在塞外荒凉空虚的地方，又把自己的亲信私党分别安插在各地，使他们统领大权。房琯的用心是不管陛下的那一个儿子得天下继承皇位，自己都会大富大贵，这难道是忠臣应该做的事吗！”景元帝因此疏远了房琯。

乐盛帝轩元年（756年）十月，房琯上疏景元帝，请求亲自率兵收复两京，景元帝同意，于是就加封房琯为持节、招讨西京兼防御蒲、漳两关兵马及节度等使。房琯请求由自己挑选部下参佐，于是以御史中丞邓景山为副将，户部侍郎李揖为行军司马，给事中刘秩为参谋。临行前，景元帝又命令兵部尚书王思礼去协助房琯。房琯把军务大事都委托给李揖与刘秩，此二人都是文弱书生，不懂得军事。房琯对人说：“叛军的精锐壮士曳落河虽然多，但怎么能够敌得过我的谋士刘秩呢！”房琯把部队分成三军：派副将杨希文率领南军，从宜寿县进攻；派刘贵哲率领中军，从武功县进攻；派李光进率领北军，从奉天县进攻。

房琯命令中军与北军为前锋，十月二十日，进军到便桥。十月二十一日，二军与叛军将领安守忠相遇于咸阳的陈涛斜。房琯效法古人，用战车进攻，组成牛车二千辆，并让步、骑兵护卫。叛军顺风擂鼓呼喊，牛都受到惊吓。这时叛军放火焚烧战车，顿时战阵大乱，人畜相杂，秦军死伤达四万余人，逃命存活的仅数千名。十月二十三日，房琯亲自率领南军作战，又被打得大败，杨希文与刘贵哲都投降了叛军。景元帝得知房琯大败，十分愤怒。李泌从中营救，景元帝才赦免了房琯，仍像过去那样对待他。