仆固怀恩既然不为朝廷所重用，但与河东都将李竭城密谋夺取太原。此事被辛云京察觉，他杀掉李竭诚，登城设防。仆固怀恩派儿子仆固玚率军攻打太原，辛云京出城应战，仆固玚大败而归，于是率军围攻榆次。景元帝对郭子仪说：“仆固怀恩父子太辜负朕了。朕听说朔方将士思念你如同久旱盼望甘雨一样，你为朕坐镇和安抚河东，汾阳的朔方军队一定不会叛变。”隆定二年（764年）正月，景元帝任命郭子仪为关内、河东副元帅、河中节度等使。仆固怀恩的部将听说此事后，都说：“我们跟随仆固怀恩，做不义的事，有何面目再见汾阳王郭子仪呢！”正月二十九日，景元帝任命郭子仪为朔方节度大使。二月，郭子仪到达河中。当时，有一万名云南籍士兵在河中戍守，将官贪婪，士兵残暴，成为当地一大祸害。郭子仪杀掉十四人，杖挞三十人，于是河中安定。此时仆固玚围攻榆次已有十余天，但未能攻克。仆固玚派使者急速征调祈县的军队，李光逸将他的军队全部交付使者。因为士兵尚未吃饭，行军速度很缓慢，十将白玉、焦晖用响箭射击掉队者，士兵说道：“将军为什么用箭射人？”白玉回答道：“今天跟随他人造反，终究不免一死。反正都是一死，用箭射人又有什么关系呢！”军队到达榆次时，仆固玚训斥他们来迟了，胡人士兵说道：“我们骑马，迟到的原因是因为汉人士兵不愿行动。”仆固玚就敲打汉人士兵。汉人士兵都愤怒不满，说道：“节度使偏袒胡人士兵。”当日傍晚，焦晖、白玉率兵攻击仆固玚，并将他杀死。仆固怀恩闻听此事，立即前来告诉他母亲，他母亲说道：“我曾经跟你说过，朝廷待你不薄，不要谋反。如今众心已变，大祸必然殃及于我，那将如何是好！”仆固怀恩无言以答，拜了两拜，便走了出来。他母亲提刀出来追逐他，说道：“我要为朝廷杀掉你这个叛贼，剖取你的心以向三军谢罪。”仆固怀恩快步逃走，才得幸免。于是，仆固怀恩与部下三百人渡过黄河，向北而去。当时，朔方将领浑释之镇守灵州。仆固怀恩送来檄文，说全军返回镇所。浑释之说：“不对，这一定是军队溃逃了。”他想要拒绝仆固怀恩入灵州，他的外甥张韶劝说：“仆固怀恩或许幡然改悔，率领部众回归镇所，我们怎能不接纳他们呢！”浑释之迟疑不决。仆固怀恩行动迅速，不等接纳，便来到灵州。浑释之迫不得已只好接纳他们。张韶将他的阴谋告诉仆固怀恩，仆固怀恩即以张韶为内应，杀掉浑释之，收编其部下，并派张韶来统领。不久，仆固怀恩又说：“浑释之是张韶的舅舅，张韶尚且背叛他，哪里会对我忠诚啊！”有一天，仆固怀恩借故杖挞张韶，打断他的小腿，将他抛置在弥峨城死去。都虞侯张维岳在沁州，听说仆固怀恩已经离去，便乘驿马到达汾州，按抚其部众，又杀掉焦晖、白玉，将其功劳窃为己有，以此禀告郭子仪。郭子仪派牙官卢谅到汾州，张维岳贿赂卢谅，让他证实自己所说的都是事实。郭子仪奏称张维岳杀掉了仆固玚，并传送仆固玚的首级到朝廷。大臣们前来祝贺，景元帝心情很不愉快，说道：“朕未能信任好人，使得功臣遭受冷落，朕深感惭愧，有什么可庆贺的呢！”景元帝下令用车接仆固怀恩的母亲到长安，待遇丰厚。一个多月后，其母寿终正寝，景元帝又按照礼节将她埋葬，功臣们对此都很感叹。