这时候，江面风力逐渐减弱，宋军水师开始了猛烈的反击。在海鳅船上踏车的都是初临战阵的民工。他们毫无惧色，十分勇敢。士兵和民工们都说：“我们只有**协力，才能消灭敌人，求得生存！”宋军海鳅船冲入金军船队，同金军展开激战。海鳅船船体大，装有踏轮，速度比较快；金军的战船船体小，速度又比较慢，大部分被宋军的海鳅船撞沉了，半渡的金兵大半死在江中。完颜亮并不甘心失败。他把其余的船只重新集结起来，准备再次发动进攻。黄昏以后，有一队宋军从别处撤退下来，路过采石，虞允文叫他们打着旗，擂起鼓，从山后绕到江边。完颜亮以为是宋军援兵来到，不敢再战，慌忙命令金军船队往后撤退，舍舟登岸。虞允文命令强弩手乘胜追射，把金军杀得大败。完颜亮率领残兵败将，仍旧退回到和州。