也在暗中计划讨伐桓玄。他召集何无忌、刘毅等人在广陵（今江苏扬州）、历阳（今安徽和县）、京囗、建康准备随时起事。元兴三年（404年）二月，刘裕以打猎为名，召集北府兵残余的人马在京口起义，歼灭了桓楚在京口的兵力，杀死桓修。随后众人推举刘裕做盟主，并将消息传达出去，各个地方纷纷响应。得知刘裕起义后，桓玄每天忧心忡忡，想不出办法来应对。有人认为不必担忧力量弱小的刘裕等人，桓玄却称赞刘裕是雄才，他认为刘毅家无多少储蓄，却大方捐出百万；何无忌和他舅舅刘牢之也很像，他们联合起来共举大事不是没有可能成功。 桓玄先派手下猛将吴甫之和皇甫敷率精兵抵御刘裕，结果都被刘裕打败并杀害。三月，刘裕攻打覆舟山，并派遣弱兵登山，拿着旗帜分别在不同的道路上行走，营造出四周有很多士兵的假象；而又因桓玄守军里很多原本是北府军，面对刘裕时都没有战斗的欲望，刘裕于是带领全军以火攻大败桓玄的守军，而桓玄也被逼弃城往西逃跑 。
掌领朝政
元兴三年（公元 404 年），注定是不平凡的一年，这一年里风云激荡，局势变幻莫测。时间来到了三月壬戌日（即 3 月 31 日），对于刘裕而言，这一天无疑是其人生旅程中的一个重要转折点。
在那个时代，权力与地位的争夺激烈异常。然而，正是得益于王谧等一批有识之士的大力举荐和支持，刘裕才获得了难得的机遇，得以登上历史舞台的中央。他被委以重任，出任使持节一职，这个职位赋予了他巨大的权力和责任。不仅如此，他还兼任都督扬州、徐州、兖州、豫州、青州、冀州、幽州、并州这八个州的全部军事事务，成为掌控一方兵权的要员。与此同时，他又获封镇军将军及徐州刺史之职，可谓集军政大权于一身。
自这一刻起，刘裕犹如一颗冉冉升起的璀璨明星，闪耀在东晋末期的天空之上。他手中紧握的军事重权，让他成为各方势力瞩目的焦点。然而，当时的东晋末年却深陷政治乱局之中。朝廷之内，百官们肆意妄为，放纵不羁，全然不顾纲纪国法；而在民间，各个行业也因疏于有效管理而日渐衰败，秩序荡然无存。面对这般混乱景象，桓玄也曾试图力挽狂澜，整肃不良风气，但无奈众人对他的政令置若罔闻，使得改革之举举步维艰。
然而，刘裕的出现却给这个混乱的局面带来了一丝转机。他以身作则，凭借着自身强大的威严来约束宫廷内外的人们。那些原本懒散怠工的官员们，在感受到刘裕的严厉之后，纷纷开始认真对待自己的工作。令人惊讶的是，仅仅只用了短短的两三天时间，整个社会的风气竟然发生了翻天覆地的变化！
刘裕成功进入建康城之后，并没有停下他前进的脚步。他迅速派遣手下得力部将对桓玄展开追杀行动，誓要将其彻底铲除。与此同时，晋安帝也终于在江陵得以复位，重新登上了皇位。但事情并未就此结束，尽管桓玄已败走逃亡，可在荆州一带仍然残留着桓氏家族的势力。桓玄之子桓振与藏匿于沮川的桓谦二人，不甘心就这样失败，他们暗中重新召集起了数千人马，气势汹汹地朝着江陵进发，企图夺回失去的一切……直至义熙元年（405年），刘毅等人才收复江陵，驱逐了桓氏势力，并迎安帝返回建康，从此彻底平定了桓氏之乱。
义熙元年（405年）三月，刘裕因其功绩被晋安帝提拔为侍中、车骑将军、都督中外诸军事。刘裕却多次推辞晋安帝授予他的官衔，并且回镇丹徒。安帝不得已，只能加授刘裕都督荆、司、梁、益、宁、雍、凉七州军事，与之前的九州叠加，共都督十六州诸军事 。同年，刘裕派遣使者到后秦，使得后秦皇帝姚兴归还了之前占领的淮北十二郡。义熙二年（406年）三月，刘裕加督交、广二州。十月，刘裕上书为西征桓氏众将士请功。于是经朝臣疏奏，作为“唱义谋主”，立下“匡复之功”的刘裕被封为豫章郡公，食邑一万户，获赏绢三万匹 。他的僚佐规格仅次于原太傅谢安府。十一月，安帝重申前诏，加刘裕为侍中、车骑将军、开府仪同三司，却被刘裕一再推辞，这才作罢。
义熙四年（408年）正月，因与自己关系亲密的王谧已在去年十二月逝世，朝中无人，刘裕听从幕僚刘穆之的建议入朝辅政，获授侍中、车骑将军、开府仪同三司、扬州刺史、录尚书事，兼徐兖[yǎn]二州刺史 ，掌握朝政大权。
东晋自偏安以来一直面临着北方的威胁，刘裕想出师北伐以建功立业，于是上表皇帝主张北伐， 朝廷同意了他的要求。义熙五年（409年）四月，刘裕大军由淮河入泗水（今江苏淮阴西南）；五月，到下邳（今江苏睢宁西北）。刘裕下令把船只、辎[zi]重留下，军队改走陆路步行到琅琊（今山东胶南县西南夏河），沿路的重要关口，都筑城派兵防守来抵御南燕军的袭击。在临朐（今属山东）东南，有地形险峻的大岘关（今山东一水县北穆陵关），但是南燕主慕容超自大轻敌，拒绝采纳大臣公孙五楼关于派兵扼守大岘