求羊祜卧护诸将，带病出征。羊祜表示，灭吴战争不一定非他指挥不可，他可以推荐一个能够胜任这一职务的人选。当年十一月，羊祜病故。临终前他举杜预代替自己。
当杜预奉诏以镇南大将军、都督荆州诸军事的职务到达襄阳后，以离间计诱使孙皓撤换了对晋军有威胁力的西陵总督张政。孙皓在临战之前的将帅移易，造成以后西线吴军的迅速崩溃。经过一段时间部署之后，咸宁五年（279年）八月，杜预向司马炎上表请求伐吴。司马炎答应次年准备出兵，但杜预反对说，东吴西部的兵力已调空，这是大举进攻的最好时机，如果给孙皓以喘息时机，很可能要功亏一篑。这时，在益州积极准备灭吴、大造舰船已有七年的益州刺史王濬也上书请战，请求司马炎切勿坐失良机。司马炎被他们说服，开始倾向及早伐吴。但是一到贾充等人搬出种种理由反对时，他又迟迟疑疑下不了决心。最后，在中书令张华的坚决支持下，司马炎终于同意立即对吴采取军事行动。这时，贾充等人听到消息又赶来争吵，惹得司马炎发起火来，他们才不敢再唱反调。89
咸宁五年（279年）十一月，司马炎命令张华为度支尚书，主持灭吴大局，掌管漕运粮饷。同时，他发布诏书，下令以二十万大军兵分六路，大举进攻吴国：
镇东将军司马伷出涂中（今安徽滁河流域）；
安东将军王浑出江西（今安徽长江以西）；
建威将军王戎出武昌；
平南将军胡奋出夏口；
镇南大将军杜预出江陵；
龙骧将军王濬、巴东监军唐彬率巴蜀水军，顺江而下。
在主帅的人选上，司马炎出乎意料的选定了一向反对此次用兵的重臣贾充出任“使持节、假黄钺、大都督”。贾充担心伐吴不利，一再以年老、难堪大任为由上表推辞。司马炎威胁说：“君不行，吾便自出。”贾充只得承命。
9
太康元年（280年）年初，南下灭吴的晋军所向披靡。杜预攻克江陵，横扫沅、湘、交、广诸州，王浑渡过横江，胡奋拿下江安。王濬率领的水师连破吴人的横江铁索和水面铁锥，捣毁沿江险关隘口，先与胡奋、王戎等军陷落夏口、武昌，继而长驱东进，直指吴都建邺（今江苏南京）。