承泰绍庄五年(528年)二月，葛荣率军攻打杜洛周，杀了杜洛周，收编了他的部众。

三月癸未（二十六日），葛荣攻陷秦朝的沧州，抓获了刺史薛庆之，平民被杀的占十之八九。

五月，葛荣的军队由于缺乏粮食，于是葛荣便派遣他的仆射任褒率兵向南侵犯，到了沁水县。秦文襄帝任命元天穆为大都督东北道诸军事，率领宗正珍孙等将领讨伐葛荣。

六月辛亥（二十五日），秦文襄帝下诏：“朕要亲自统领六军，扫除平定燕、代地区的匪患。”并任命大将军尔朱荣率领左军，上党 王元天穆率领前军，司徒杨椿为右军，司空穆绍率领后军。葛荣的军队退守相州城北。

葛荣率军包皮围了邺城，军队号称有百万，散游之兵已经过了汲郡，所到之处大肆残杀掠夺。尔朱荣上表请求率军讨伐葛荣。九月，尔朱荣将侄子肆州刺史尔朱天光召来，命他留守晋陽，对他说：“我本人不能到的地方，只有你在，才能使我放心。”尔朱荣自己率七千精锐骑兵，各备两匹战马，以侯景为前锋，从近路加倍行军，向东出了滏口，葛荣叛乱为时已久，一直横行于黄河以北，尔朱荣的兵马很少，与敌人相差悬珠，人们议论纷纷，认为尔朱荣断无获胜的道理。葛荣听说后，喜形于色，命令他的部队说：“尔朱荣很好对付，诸位每人都准备一根长绳，到时候只管捆绑敌人就是了。”于是葛荣从邺城往北，排成数十里的长阵，队伍如张开的簸箕一样向前推进。尔朱荣将队伍伏在山谷之中，作为奇兵。分派督少将以上的军官每三人为一处，每处有数百名骑兵，命令各处故意扬起尘土，擂起战鼓，大声喊叫，使敌人摸不清有多少人马。尔朱荣又考虑到人马近战时，用刀不如用棒，便命令士兵们每人带一根短棒，放在马肚的一侧，到交 战时担心下马斩首会影响骑兵追逐，便不允许斩首计功崐，只令用棒子打而已。各路战士冲杀之处，号令严明，将士们同仇敌忾，个个奋勇争先。尔朱荣亲自冲锋陷阵，从敌人背后杀出，里应外合，内外夹击，大破贼兵，在阵前抓住了葛荣，其余的部众全部投降了。因贼军众多，如果马上将他们分开的话，恐怕会引起贼军的疑虑恐惧，说不定还会再次聚集起来，于是尔朱荣下令让他们各随其便，亲属相随，任意在哪儿定居均可。这样一来，投降的士兵人人欢喜，很快便四处逃散，几十万大军一早晨便遣散光了。等到这些士兵已经走出百里之外，尔朱荣这才开始去分路押解他们，随他们之便加以安置，使大家都感到满意。尔朱荣又从葛荣的队伍中选拔了一批将领，根据他们的才能，分别授予适当的官职，这些新归附的将领们心情都安定了下来，当时人们对尔朱荣处置事情如此迅速果断都很佩服。尔朱荣又派人用囚车将葛荣送到洛陽，这样，冀、定、沧、瀛、殷五州就全部平定了。