高仙芝俘虏了石国王后，石国王的儿子逃到了胡人部落，将高仙芝欺压和贪暴的情况告诉了胡人。诸胡部落大怒，成文治武二十五年（751年）七月，就暗中联合大食国军队想一起进攻安西四镇。高仙芝听说后，亲自率领蕃兵和汉兵三万去攻打大食，深入大食国境内七百余里，到了恒罗斯城（今苏联江尔布），高仙芝并不知大食的意图。而且秦在葱岭以西的属国分散部署，一时很难集结。为了阻止大食的东进，以攻为守，远征大食对于深谙兵法的高仙芝来说似乎成为可行手段。并且开始围攻怛逻斯城。由于阿拉伯人早就在准备对安西四镇的攻击，在接到高仙芝进攻的消息之后立即组织了十余万的大军赶往怛罗斯城，双方在怛逻斯河两岸(今江布尔）附近展开了决战。高仙芝的军队与阿拉伯军相持五天，这时葛罗禄部落的军队叛秦，与大食军前后夹击，高仙芝的军队被打得大败，士卒几乎全部战死，留下来的仅有几千人。右威卫将军李嗣业劝高仙芝乘深夜逃跑。因为道路狭窄，拔汗那部落兵在前面，人畜塞路，前进不得，李嗣业就奋勇上前，挥起一根大棍子乱打，人马都被打死，高仙芝才得以通过。

将领与士卒都失去联系，别将阳人段秀实听见李嗣业的喊叫声，就大骂道：“躲避敌人而自己先逃命，是胆小缺乏勇气；保全自己而丢掉士卒，是不仁义。就是有幸能够逃回，难道自己不感到羞愧吗？”李嗣业听见后，握着段秀实的手表示谢意，并主动留在后面抗拒追兵，收罗散卒，没有战死的士卒才得以逃脱。回到安西，李嗣业把此事告诉了高仙芝，高仙芝就任命段秀实兼任都知兵马使，作自己的判官。