桓温的军粮断了，呆不下去，只好退兵回来。但是这次北伐毕竟打了一个大胜仗，晋穆帝把他提升为征讨大都督。
以后，桓温又进行了两次北伐。最后一次，进攻前燕，一直打到枋头（今河南浚县西南），后来，因为被前燕切断粮道，遭到失败。
桓温长期掌握东晋的军事大权，野心越来越大。有一次，他自言自语地说：“男子汉如果不能流芳百世，也应当遗臭万年。”
有个心腹官员知道他的野心，向他献计，说要提高自己的威信，就先得学西汉霍光的办法，把现在的皇帝废了，自己另立一个皇帝。
那时候，晋穆帝已经死去。在位的皇帝是晋废帝司马奕（音ｙì）。桓温带兵到建康，把司马奕废了，另立一个司马昱（音ｙù）当皇帝，这就是晋简文帝。桓温当了宰相，带兵驻在姑孰（今安徽当涂）。
过了两年，晋简文帝病重，留下遗诏由太子司马曜继承皇位。这就是晋孝武帝。桓温本来以为简文帝会把皇位让给他，听到这个消息十分失望，就带兵进了建康。
桓温到达建康那天，随身带的将士，都是全副盔甲，手里拿着明晃晃的武器。朝廷官员到路边去迎接时，看到这个情景，吓得变了脸色。
桓温请两个最有名望的士族大臣王坦之、谢安到他官邸去会见，王、谢两人早已听说桓温事前在客厅的背后埋伏一批武士，想杀掉他们。所以，王坦之到了相府，浑身出冷汗，连衣服都湿透了。
谢安却十分镇静。进了厅堂坐定之后，他对桓温说：“我听说自古以来，讲道义的大将，总是把兵马放在边境去防备外兵入侵。桓公为什么却把兵士藏在壁后呢？”
桓温听了，也有点不好意思，说：“我也是不能不防备点儿。”说着，就命令左右把后面埋伏好的兵撤去。
桓温看到建康的士族中反对他的势力还不小，不敢轻易动手。不久，就病死了。
桓温死后，谢安担任了宰相，桓温的弟弟桓冲担任荆州刺史，两人同心协力辅佐晋孝武帝，东晋王朝出现了团结的气氛。
