在北府军袭击洛涧之前，形势对东晋是很不利的。
水军将领胡彬根据谢安的吩咐，带领水军沿着淮河向寿阳进发。可是在半途就得知寿阳已经被前秦的前锋苻融攻破。胡彬只好退到硖石(在今安徽寿县西北)，等待与谢石、谢玄会合。
苻融得寸进尺，他派部将梁成带领五万人马攻下洛涧，把胡彬的后路给断了。胡彬的水军被围困，粮食供应接不上，就派士兵偷偷地去给谢石送信。不料这个去送信的士兵在穿越秦军阵地的时候，被秦军抓住了。这封信就落到苻融的手里。苻融赶紧派人把信送到在项城的苻坚手里。苻坚高兴极了，心想，果然不出所料，晋军怎么敌得过强大的秦军呢!他把大军留在项城，自己带了八千名骑兵，赶向寿阳。到了寿阳，他跟苻融一商量，觉得晋军肯定害怕了，不如逼迫他们投降，不战而胜不是更好吗?于是就派一个使者到晋军的营地去。
派谁去呢?苻坚认为派出的人一定要能说服晋军投降。于是，他们派几年前在襄阳坚决抵抗秦军后来被俘虏的朱序为使者。其实朱序虽然人在秦军，可心还是向着晋军的。他见了谢石、谢玄就像见到亲人一样亲热。他不仅没有为秦军劝降，反而向晋军提供情报、出主意：“苻坚他们百万大军还没有全赶到前线。趁这个机会你们必须赶快发起进攻，把他们的锐气打下去，还有希望取胜，否则就来不及了!”
经过再三考虑，谢石、谢玄采纳了朱序的建议，谢石、谢玄作出了派北府军袭击洛涧的决定。北府军名将刘牢之没有辜负大家的希望，五千精兵打了个秦军措手不及，四散溃逃。接着刘牢之带人马直奔硖石去救胡彬水军。谢石、谢玄指挥士气大振的晋军趁胜前进，一直到淝水(今淝河，在安徽寿县北)东岸，把人马驻扎在八公山边，对岸就是驻扎在寿阳的秦军。
洛涧大败对苻坚就像当头一棒，他还没有回过神来，晋军又到了对岸，他开始摸不着头脑了。他由苻融陪着登上寿阳城头向对岸望去，只见晋军营帐密密麻麻，人马往来，尘埃腾起，八公山上到处都是军旗，不知道有多少晋军。苻坚越看越眼花，把八公山上的草木都看作是晋军了。从此，历史上就留下了“草木皆兵”这句成语。
苻坚对苻融说：“晋军的确很强大，谁说他们弱的。”
本来不可一世的苻坚一下子全变了。他命令秦军加强防守，不许轻举妄动。
晋军等了几天，看秦军没有动静，怕一直拖下去，秦军兵马来齐了，对自己不利。于是谢玄就派人给苻坚送去一封信，信上说：“你们的大军深入我们的阵地，在淝水边上摆开阵势，现在却按兵不动，这像在打仗吗?如果你们还准备打的话，不如稍稍往后撤一点，留出一块地方，让我们渡过淝水，双方好好较量一下，比比高低，行不行?有没有这个胆量?”
苻坚看完信，想了又想，就对将领们说：“要是我们不答应后撤，他们会以为我们胆小。要是撤的话，又让他们得逞了。我看不如将计就计，先腾出一点地方，然后趁晋军在渡河还没有站稳脚跟的时候，让我们的骑兵冲杀上去，肯定能把他们消灭。”于是就派人给晋军送信表示同意。
约定的日期到了。晋军严阵以待，准备渡河；对岸的秦军也作好了准备。苻坚一声令下，苻融就指挥秦军后撤。秦军向后移动了，撤出的地方渐渐大了，可是苻坚怎么也没想到秦军收不住脚，一直朝后撤。不对，这哪里是撤退，秦军越跑越快，分明是逃跑。原来这些秦军本来就不想打仗，这一阵子他们已被晋军吓怕了，担心晋军一上岸就把他们打个落花流水。
谢玄带领八千骑兵，趁势迅速渡过淝水，直接向秦军进攻。秦军吃过北府军的苦头，见这阵势已经怕了。再加上朱序趁秦军退的时候，大声叫喊：“秦军被打败了!秦军被打败了!”后面的士兵，看到前面的士兵在跑，也就加紧跑；前面的士兵回头看，后面的士兵在跑，也真以为已经打了败仗，于是更加拼命地逃跑。
苻融见形势不对，手握着剑想把队伍稳住。可是秦军仍然像潮水一般往后退来，真是兵败如山倒，怎么阻挡得了?他们把苻融的战马冲倒了。苻融想挣扎着起来，后面的晋军赶上来，一刀把他给杀了。这下秦军更乱了，像没头苍蝇一样四处乱逃。队伍后面的苻坚一看不好，骑上马拼命地逃。一支飞箭射来，正中他的肩上。他哪里顾得上疼痛，只顾催马狂奔，一直逃到淮北才停了下来。
秦军仍然在不顾一切地逃跑，被挤死、踩死的不计其数。他们听到风声和野鹤的叫声，也以为追兵来了，更吓得没命地狂奔。成语“风声鹤唳”就是这样来的。
晋军大胜、收复寿阳的捷报送到建康，谢安正在下棋。他看完捷报，随手往边上一放，仍然跟客人下棋。客人急着问是什么事，谢安好像不在意地说：“还不是几个孩子把苻坚打败了。”
客人兴奋极了，跑着去把好消息告诉大家。
其实谢安也很激动。客人走后，他走进房里，迈过门槛的时候，把脚上木屐底下的齿也碰断了。
淝水大战，大大地削弱了前秦的力量。苻坚逃回到洛阳，剩下的军队只有十几万。正像王猛所预料的那样，鲜卑族的慕容垂和羌族的姚苌见到前秦势力衰落，都背叛了前秦，分别成立了自己的国家，就是后燕和后秦。苻坚最终还是被姚苌杀了。