元興元年（402年）正月，司馬元顯升驃騎大將軍、征討大都督，都督十八州諸軍事，加侍中、黃鉞、班劍二十人，並下詔討伐桓玄，命劉牢之為前鋒都督。

    張法順向司馬元顯進言，讓劉牢之殺了桓謙，除去桓玄這個耳目，司馬元顯不同意。

    司馬元顯認為桓謙鬧騰不起來，如果殺了他，會影響軍心。我呢，只討伐桓玄，其餘桓家的人，我不追究。司馬元顯決定以桓謙代桓玄為荊州刺史，以其父桓衝在荊州的名望博取荊州人支援。

    沒等司馬元顯大軍出發，桓玄已經知道了司馬元顯打他的資訊。

    桓玄從兄驃騎長史桓石生派使者飛馬告知桓玄，桓玄便決定順江抵抗，更傳檄京師，列舉司馬元顯罪狀。

    於是乎，著名的《討司馬元顯檄》四處張貼，列舉司馬元顯罪狀，證明桓玄率軍抵抗司馬元顯的兵馬，合情合理合法。

    檄文如下：

    案揚州刺史元顯，兇暴之性，自幼加長；犯禮毀教，發矇如備。居喪無一日之哀，哀垤為宵征之服，弦觴於殷憂之時，窮色於罔極之日，劫略王國寶妓妾，一朝空房，此基惡之始，駭愕視聽者矣……改號元興，以為己瑞。莽之符命，於斯尤著。否極必亨，天盈其毒。不義不呢，勢必崩喪，取亂侮亡，實在斯會。三軍文武，憤踴即路。

    桓玄留桓偉守江陵，親自率兵東下。

    《討司馬元顯檄》就是這時桓玄所釋出，在檄文中桓玄列舉司馬元顯之罪，昭告天下。

    司馬元顯派使者到京口，和劉牢之商量討伐司馬元顯事宜。請劉牢之率部迎戰桓玄軍，承諾擊敗桓玄後，為劉牢之加官進爵。

    劉牢之和親信商量，這事咋整？

    徐謙之、劉裕等人主張劉牢之按兵不動，看戰事進展。如果司馬元顯能抵擋桓玄，則支援司馬元顯；如果司馬元顯不敵桓玄，則支援桓玄。

    一句話，坐山觀虎鬥。

    因為司馬元顯刻薄寡恩，缺少信義，劉牢之採納了上述建議。

    劉牢之絕對不傻，他很清楚，如果和司馬元顯合作，打敗桓玄後，司馬元顯肯定容不下他。按兵不動，是最好的辦法。於是，劉牢之率北府文武將士進駐洌洲。

    桓玄派劉牢之的族舅何穆勸阻劉牢之說：“從古至今，戰亂時代，君臣之間彼此相互信任的只有燕昭王與樂毅、劉玄德（劉備）與諸葛亮（孔明），但都是功業未成而明君早逝，假如功成名就，恐怕難保大禍不臨頭。常言道：‘高鳥盡，良弓藏；狡兔死，獵狗烹；敵國破，謀臣亡。’所以勾踐殺文種，嬴則除白起，漢高祖斬韓信。他們都是英雄霸王之主，尚且不相信手下的功臣大將，更何況那些兇殘愚昧、平庸無能之輩呢！自盤古開天地以來，擁有足以使君主震動的聲威，建立無法封賞的大功，而能被昏暴君王所寬容的又有誰呢？相反，管仲箭射齊桓公衣鉤反被他重用，雍齒多次威逼漢高祖反而受到漢高祖的厚封，這一類事是常有的，何況足下與桓公之間無射鉤屢逼之仇呢？如今足下與桓公為敵，戰敗了將會遭到滅族之災，戰勝了同樣會遭到滅族之災，出路在哪裏呢？與其頭足異地，身敗名裂，為天下俗人所恥笑，不如調轉戈矛，保住自己的富貴，這樣就可以使自身高位固若金石，英雄美名如天長地久。何去何從，請足下三思。”

    不久，司馬尚之的兵馬被桓玄軍擊敗，司馬元顯的軍隊士氣低落。劉牢之立即接受何穆建議，支援桓玄討伐司馬元顯，派使者和桓玄聯絡。

    何無忌、劉裕極力勸阻劉牢之這樣做，說如果放棄中立，倒向桓玄的話，桓玄一旦擊敗司馬元顯，控制朝政，對北府軍極為不利。

    劉牢之沒有接受這樣的建議，派劉敬宣率兵協助桓玄，討伐司馬元顯。

    桓玄大喜，任命劉敬宣為諮議參軍，帶劉敬宣觀賞名人字畫，想趁機殺了劉敬宣。

    幸虧劉敬宣機靈，觀賞字畫時，帶了不少親兵隨行，桓玄纔沒有動手。

    桓玄率軍抵達尋陽時，沒有發現司馬元顯的軍隊，不由狂喜。

    因為劉牢之態度不明朗，司馬元顯底氣不足，不敢率兵西進。

    庾楷是司馬元顯安放在桓玄軍中的臥底，寫信給司馬元顯，派親信攜信件前往司馬元顯軍營，被桓玄部下截獲。

    桓玄大怒，立即抓捕庾楷。

    庾楷自知必死，大罵桓玄，桓玄拔出寶劍，砍死了庾楷。

    司馬元顯十分恐懼，派齊王司馬柔之以騶虞幡命桓玄罷軍，但被桓玄前鋒所殺。二月丁卯日，桓玄至姑孰，派軍擊敗並俘虜司馬尚之，司馬休之棄城逃走。

    桓玄趁機進兵，前鋒逼近建康。