公元403年，桓玄篡奪東晉皇位後，有人就對桓玄建議說∶“劉裕能力超群，恐怕不肯久為人下，最好趁早解決他。”但是桓玄還想利用劉裕的軍事才能幫自己去擴大地盤，因此暫時沒有對劉裕下手。
但這種平靜只是表面的，雙方暫時沒有撕破臉而已，北府軍中也有很多人對桓玄的篡位不滿。
劉裕身邊就有很多桓玄的反對者，包括劉毅、何無忌等人，他們聚集在一起，密謀對付桓玄的計劃，這批人也是後來劉裕打天下時的骨幹力量。
眾人經常聚在一起密謀作戰計劃，何無忌提出在會稽（今天的浙江紹興）起兵，劉裕認為會稽距離建康過遠，變數較多，堅持在北府軍的老基地京口（今天的江蘇鎮江）起兵。
但是京口由桓玄的族人桓修負責鎮守，桓修的主要任務之一就是監視劉裕等人，有一天桓修有事要去建康，他怕劉裕留在京口搗亂，就要劉裕陪自己一起去建康。
劉裕腦子快，很快想了個不去的理由。他說自己有傷在身，難以行動，無法和桓修一起去。桓修也不好再勉強，就自己獨自前往建康。
等桓修一走，劉裕立即召集北府軍舊將們議事，劉毅、諸葛長民等人紛紛趕來，一起定下了行動計劃。
一切準備就緒之後，公元404年，劉裕藉口要打獵，聚集了何無忌等數百人，衝入京口城中。
何無忌衝在最前面，宣稱自己有司馬皇室的秘密詔令，自己是奉密詔來消滅桓玄勢力，眾人大呼向前，桓修的衛士都被嚇跑了，無人敢反抗，桓修很快被殺死。
但是當時劉裕還沒完全控制京口，桓修雖然死了，但是他的司馬刁弘聽說長官被殺，立即帶兵來攻城，此時劉裕這邊只有幾百人，硬拼的話會吃大虧。
力量不及對方之時，智取也是一條路。劉裕決定撒個謊。
劉裕登上城樓，對刁弘說：“我們是奉司馬皇室的密詔，今天在各地同時起兵，誅殺叛賊，桓玄已經被殺，你們原先都是晉朝大臣，這是想幹嗎呢？”
刁弘他們本來氣勢洶洶地要來為桓修報仇，聽說桓玄已經死了，頓時像洩了氣的皮球一樣，鬥志全無，也不判斷訊息的真假，就退去了。
不久之後，劉毅等人率領北府軍大軍趕到，劉裕完全控制了京口，立即下令殺死了刁弘等人。
到目前為止，計劃進行得很順利。然而再完美的計劃，也可能遇到一些突發情況。
劉毅的哥哥劉邁當時人在建康，劉裕就派了個叫周安穆的人去找劉邁，讓劉邁做自己的內應，方便自己到時攻打建康。
但是劉邁膽小，嘴上答應做內應，心裡卻怕得要死，周安穆看他那麼害怕，估計他難以保守秘密，於是立即離開了建康。
恰好這時桓玄任命劉邁為竟陵太守，桓玄知道劉邁和劉裕他們熟悉，所以在劉邁赴任之前，桓玄隨意問了一句：“北府軍那裡的情況怎麼樣？你最近都和劉裕聊些什麼？”劉邁一聽就傻眼了，以為桓玄已經知道了他們的計劃，劉邁嚇得一晚上沒睡，第二天一大早就去桓玄那裡全招了。
桓玄聽到劉裕要反他，大吃一驚，召集桓謙、卞範之等人商議對策，眾人建議立即發兵攻打劉裕，沒想到桓玄卻不同意。
桓玄認為，北府軍向來是精銳，如果從建康派兵去攻打京口，不一定打得過北府軍，萬一有閃失，反而壯大了對方的聲勢，不如把大軍聚集在覆舟山（九華山），以逸待勞，對方遠道而來，銳氣已失，突然看到我們的大軍，一定會很怕，我們只要堅守不戰，讓對方找不到機會，時間一長，對方自然就會退走，這才是上策。
平心而論，桓玄的方案也有可取之處，如果桓玄把兵力集中在建康，以逸待勞，最後的勝負還是難以預料的，但是桓玄這人的一大特點就是搖擺不定，本來他都想好了對策，結果被眾人一說，又改主意了，最後還是派大將吳甫之、皇甫敷帶兵去攻打劉裕。
不久之後，桓玄派去的部隊遇到了劉裕的人馬。吳甫之是桓玄手下的一員悍將，所帶的是精銳部隊。然而劉裕是遇強更強，手持長刀，大吼著帶人衝鋒。在他的激勵下，北府軍爆發出驚人的戰鬥力，一舉擊潰敵人，斬殺吳甫之。
吳甫之部隊被消滅之後，還剩下皇甫敷的部隊，皇甫敷繼續帶兵衝擊，殺死了北府軍的將領檀憑之。檀憑之一死，他的部隊四散而逃，敵人佔了上風。
關鍵時刻，劉裕再次起到主心骨的作用，他帶兵愈戰愈勇，一往無前，硬是頂住了敵人的攻勢，殺死了皇甫敷，取得了最後的勝利。
這下子，桓玄派出去的部隊全軍覆沒了。訊息傳來。桓玄大驚失色。為了應對即將殺來的北府軍，桓玄讓族人桓謙帶兵守在要地，嚴陣以待。劉裕部隊連戰連捷士氣大振，迅速逼近覆舟山（南京的九華山），大戰一觸即發。
開戰之前，雙方都做了一定的準備。
劉裕派人在覆舟山上樹立了很多旗幟，作為疑兵迷惑對手，桓玄則派出部隊增援桓謙。
戰鬥打響之後，北府軍個個奮勇爭先，桓謙部隊也拼死抵抗，雙方一度僵持不下。
這時，突然颳起了一陣強烈的東北風。
北府軍是順風方向，劉裕反應很快，讓士兵們順風放火，火借風勢，直撲對面的桓謙部隊。
桓謙部隊本來就被北府軍壓著打，現在又被大火一頓燒，很快全軍崩潰，大敗而逃。
這時作為己方首領的桓玄又是什麼表現呢？要說他也是作戰意志不堅定，一方面要別人去拼命，另一方面又暗中備好了船，一看形勢不利，桓玄立即帶上晉安帝司馬德宗坐船跑了，逃回他的老地盤江陵（今天的湖北省荊州市一帶）。
首領都跑了，底下人哪還有勁來抵抗？桓玄的人馬很快樹倒猢猻散，各自逃命，劉裕順利地佔領了建康，並派人追擊桓玄。
雖然打下了建康，但戰鬥並未結束。
桓玄從建康逃出來，順著長江一路向西逃跑，路過潯陽（今天的江西九江），當地被桓玄任命的官員還是準備了一定的武器和土兵，為桓玄提供補充。桓玄雖然一路敗逃，但使用的車船等還是帝王的派頭，桓玄的陣營裡依然有人相信可以東山再起。
吃一塹，長一智。按說打了敗仗總結教訓也是對的，但是桓玄的總結有個特點-—甩鍋。
他說自己的指揮完全沒有問題，之所以失敗，是因為各位將領沒有把他的命令執行到位。逃回江陵之後，桓玄開始打造船隻，招兵買馬，封官許願。桓玄告訴跟隨他的人，只要跟著自己打回建康，大家可以繼續做大官。
桓玄打回建康的可能性還是存在的，畢竟他現在手裡還有數萬人馬。然而，他的心態卻不一樣了。這次被劉裕打敗，對桓玄的打擊很大，他總結了半天，認為失敗的一大原因是——自己的管理太鬆弛了。
自認為找準了原因，於是桓玄開始著手整頓人馬，使用嚴刑峻法來管理下屬。
桓玄的下屬殷仲文對此深感擔憂，他就對桓玄說∶“陛下您是少年英雄，立下很多功勞，當了皇帝后遇到這種失敗，不是因為您管理過寬，相反，您應該廣施恩惠，才會得到大家擁護。”
桓玄對此不屑一顧，他認為只有靠嚴刑峻法，才能讓大家聽話，所以他經常因為別人的一點小錯就嚴懲別人，這反而導致人心離散。
劉裕那裡也沒有閒著，他派出劉毅、劉道規等人帶兵來攻打桓玄，桓玄也湊齊人馬來戰，雙方相遇在崢嶸洲（今天的湖北省武漢市附近）。俗話說，兵熊熊一個，將熊熊一窩。桓玄大軍本來是占人數優勢的，但是桓玄沒有堅定的作戰意志，在雙方展開水戰之時，桓玄總是要在自己的戰船邊上，帶著一個輕便的小船，隨時準備溜之大吉。
主帥如此表現，士兵們能有什麼戰意？北府軍奮勇殺敵，並再次使出火攻，桓玄大軍大敗，桓玄狼狽逃走。
這時益州刺史毛璩派人過來，請桓玄去益州避難，平時向來多疑的桓玄這時卻昏了頭，聽他們的安排上了路。
此時桓玄已經成了喪家之犬，毛璩正要拿他的人頭去找朝廷請功，哪有那麼好心呢？在路上他的人馬就殺死了桓玄，一代梟雄，就此身死。