谢石、谢玄经过一番商议，就派北府兵的名将刘牢之率领精兵五千人，先对洛涧的秦军发起突然袭击。这支北府兵果然名不虚传，他们像插了翅的猛虎一样，强渡洛涧，个个勇猛非凡。守在洛涧的秦军，不是北府兵的对手，勉强抵挡一阵，败了下来，秦将梁成被晋军杀了。秦兵争先恐后渡过淮河逃走，大部分掉在水里淹死。
洛涧大捷，大大鼓舞了晋军的士气。谢石、谢玄一面命令刘牢之继续援救硖石，一面亲自指挥大军，乘胜前进，直到淝水（今淝河，在安徽寿县南）东岸，把人马驻扎在八公山边，和驻扎寿阳的秦军隔岸对峙。
苻坚派出朱序劝降以后，正在洋洋得意，等待晋军的投降，突然听到洛涧失守，像头上挨了一下闷棍一样，有点沉不住气。他要苻融陪着他到寿阳城楼上去看看对岸形势。
苻坚在城楼上一眼望去，只见对岸晋军一座座的营帐排列得整整齐齐，手持刀枪的晋兵来往巡逻，阵容严整威武。再往远处看，对面八公山上，隐隐约约不知道有多少晋兵。其实，八公山上并没有晋兵，不过是苻坚心虚眼花，把八公山上的草木都看作是晋兵了（文言是“草木皆兵”）。
苻坚有点害怕了，他转过头对苻融说：“这确实是强大的敌人啊！怎么能说他们弱呢？”
打那以后，苻坚命令秦兵严密防守。晋军没能渡过淝水，谢石、谢玄十分着急。如果拖延下去，只怕各路秦军到齐，对晋军不利。
谢玄派人给苻坚送去一封信，说：“你们带了大军深入晋国的阵地，现在却在淝水边摆下阵势，按兵不动，这难道是想打仗的吗？如果你们能把阵地稍稍往后撤一点，腾出一块地方，让我军渡过淝水，双方就在战场上比一比输赢。这才算有胆量呢！”
苻坚一想，要是不答应后撤，不是承认我们害怕晋军吗？他马上召集秦军将领，说：“他们要我们让出一块阵地，我们就撤吧。等他们正在渡河的时候，我们派骑兵冲上去，保管能把他们消灭。”
谢石、谢玄得到苻坚答应后撤的回音，迅速整好人马，准备渡河进攻。
约定渡河的时刻到来了，苻坚一声令下，苻融就指挥秦军后撤。他们本来想撤出一个阵地就回过头来总攻。没料到许多秦兵一半由于厌恶战争，一半由于害怕晋军，一听到后撤的命令，撒腿就跑，再也不想停下来了。
