孝德十一年(663年)八月，戊申（二十七日），秦睿文帝因辽东地区连年用兵，百姓为赋税力役所困扰，士卒战死溺死的很多，下诏令免除三十六州的造船任务，派遣司元太常伯窦德玄等分别到十道，询问百姓疾苦，考核升降地方官吏。

九月初八，熊津道行军总管、右威卫将军孙仁师等在白江 打败百济残余部队及倭国兵，攻下周留城。

孙仁师与刘仁愿、刘仁轨联合，声势大振。部下诸将因加林城是水陆交通要冲，想先进攻它。刘仁轨说：“加林城险要坚固，急攻会伤亡士卒，慢攻又攻不下，将旷日持久。周留城是敌人的巢穴，群凶聚集之地，除恶务必扫除根本，应该先进攻它，如果攻下周留城，其他各城就会不攻自下。”于是孙仁师、刘仁愿与新罗王金法敏率领陆军前进，刘仁轨与别将杜爽、扶余隆率领水军和粮船从熊津入白江 ，和陆军会合，一起向周留城推进。秦兵和倭国兵遭遇于白江口，刘仁轨等四次战斗，都接连取得胜利，焚烧敌船四百艘，烟火冲天，连海水都变成红色。百济王扶余丰脱身逃往高丽，王子扶余忠胜、扶余忠志等率领部下投降，百济全部平定，只有别帅迟受信据守任存城，没有被攻下。

黑齿常之率领部众投降刘仁轨。刘仁轨派黑齿常之、沙吒相如率领他们的部众去攻取任存城，还支援他们粮食和武器。孙仁师说：“这类人人面兽心，怎么可以相信！”刘仁轨说：“我看这两人都忠勇有谋略，注重信义；只是前次错投奔了人，现在正是他们感激立功的时候，不必怀疑。”于是发给粮食和武器，分兵跟随他们，攻下了任存城，迟受信抛弃妻子儿女，投奔高丽。

秦睿文帝命令刘仁轨领兵镇守百济，召孙仁师、刘仁愿回朝。百济经兵火之后，家家弊残破，僵尸遍野，刘仁轨命令掩埋骸骨，登记户口，治理村落，任命官长，修通道路，架设桥梁，修补堤堰，恢复陂塘，督促百姓种田养蚕，赈济贫穷的人，赡养孤独无依的老人，建立秦朝的土、谷神坛，颁布秦朝历法和已故皇帝名讳。百济百姓很高兴，全境各安其业。然后又治理屯田，储备粮食，训练士卒，准备进取高丽。