六月十日，朝廷派韦孝宽为行军元帅，讨伐尉迟迥。六月二十六日，任命老将梁睿为益州总管，但王谦在益州叛乱而改任行军元帅讨伐王谦。七月十六日，命令杨素领兵讨伐宇文胄。七月二十五日，派王谊领兵讨伐司马消难，又任命韦世康为绛州总管，保卫关中安全。韦孝宽所部开至武陟（今河南省武陟县），与盘踞武德郡的尉迟迥之子尉迟惇所部十万人隔着沁河对峙。

此时，韦孝宽长史李询秘密启杨坚说：“梁士彦，宇文忻和崔弘度三位行军总管接受了尉迟迥馈赠的金钱，因此军中不安，人心异常。”杨坚感到十分忧虑，与内史上大夫郑译密谋派人取代这三人，李德林反对说：“您与 这些将领本来都是国家重臣，地位平等，他们没有服从您的义务，现在您只是凭借挟天子以令诸侯的权威来控制和驾御他们罢了。以前所派遣的，您疑心他们怀有异意；那么往后再派遣的，您又怎么能知道他们会向您推心置腹呢！再说，他们三人收取尉迟迥馈赠金钱的事，真假不明，现在如果马上派人替代他们领兵，他们可能会因害怕获罪而逃走；如果把他们都抓起来，那么前线的将帅自郧公韦孝宽以下，就会人人自危，莫不惊慌。况且临战易将，正是战国时期燕国、赵国被齐国、秦国打败的根本原因。以我看来，您只要派遣一位既是您的心腹，又通晓谋略，向来为众将领所信服的人，立刻到军中去，监视将领们的举动。纵使他们怀有异意，也肯定不敢轻举妄动；万一有异常举动，也必能将其制服。”杨坚大悟，说：“如果不是你讲明这些道理，几乎要败坏大事。”

于是杨坚命少内史崔仲方往监诸军，为之节度。又派高颎前往前线。 高颎至军中，在沁水上搭建桥梁。尉迟惇见阵，在沁河上游纵火筏想用它们烧掉桥，高颎则命人填土以阻火筏。尉迟惇布阵二十余里，想等韦孝宽军半渡而击之；不料，韦孝宽却将军队略作后退，然后鸣鼓齐进。军队一过河，高颎命令焚烧桥，以绝士卒后退之心。因此，士兵作战时一往无前，尉迟惇大败，单骑逃亡。韦孝宽乘胜进击，追至邺。

八月十七日，尉迟迥与尉迟惇及弟西都公尉迟祐，集结十三万部队于邺城南，尉迟迥统帅万人，皆着绿巾、锦袄，号“黄龙兵”。尉迟迥弟尉迟勤统帅士卒五万，自青州增援而来，派三千骑先投入战场。尉迟迥麾下兵皆关中人，作战勇猛，韦孝宽军作战不利只能后退。邺中士民观战者达数万人，行军总管宇文忻说：“形势已经到了危急关头！我要用诡诈的战法击败敌军。”于是先射击观战的百姓，这些人纷纷逃避，互相推搡践踏，呼声震天。宇文忻于是大声喊道：“叛贼失败了！”韦孝宽的军队很快士气重振，乘纷乱之机发起进攻。结果尉迟迥的军队大败，退保邺城。韦孝宽指挥军队包围了邺城，李询与安思伯代郡人贺娄子干首先登上城头。

邺城被攻破后，尉迟迥计穷，登上城楼，崔弘度径直从龙尾道追上去。尉迟迥弯弓搭箭，准备射崔弘度，崔弘度摘下头盔对尉迟迥说：“还认识我吗？今日我们各自都是为了国事，不能顾及私情。念我们有亲戚之情，特地遏制住乱兵，不许对您侵犯欺侮。现在事情已经到了这一步，您应该早为自身考虑，还等待什么呢？”尉迟迥投弓箭于地，尽情大骂左丞相杨坚，然后自杀。崔弘度对弟弟崔弘升说：“你可取下尉迟迥的头颅。”于是崔弘升将尉迟迥斩首。在邺小城中的尉迟迥士卒，都被韦孝宽活埋。尉迟勤、尉迟惇与尉迟祐向东逃往青州，还没有到达，就被开府仪同大将军郭衍率兵追上抓获， 山东各地叛乱相继被镇压。