泰始九年（公元273年）
春天正月辛酉日，密陵元侯郑袤去世。二月癸巳日，乐陵武公石苞也离世了。到了三月，晋武帝立自己的儿子司马祗为东海王。与此同时，吴国任命陆抗担任大司马、荆州牧。
这年夏天四月戊辰初一，发生了日食。当初邓艾蒙冤而死，大家都觉得他冤枉，可朝廷里却没人站出来为他辩解。晋武帝即位后，议郎敦煌人段灼上奏说：“邓艾一心忠诚，却背上反叛的罪名，他平定了巴蜀，结果全族被杀。邓艾性格刚烈急躁，喜欢夸耀自己的功劳，不太能和同僚搞好关系，所以没人愿意为他说话。我觉得邓艾原本只是个屯田养牛的人，后来地位已经很高，功名也有了，一个七十岁的老头，还能有什么别的企图呢！当时刘禅刚投降，偏远的郡县还没归附，他临时采取一些措施，也是为了稳定大局。钟会有谋反的心思，又害怕邓艾的威名，就借着一些似是而非的事情，诬陷邓艾。邓艾接到诏书，马上就派走精锐部队，自己束手就擒，没有丝毫反抗，因为他相信见到先帝，肯定不会被处死。钟会被杀之后，邓艾的下属和将士们，出于单纯的想法，一起去追回邓艾，砸开囚车救他。邓艾当时身处困境，毫无准备，也没有和心腹提前谋划，最后却落得个前后受敌被杀的下场，实在太可怜了！陛下您登基，气度宏大，我觉得可以让邓艾归葬祖坟，归还他家的田产住宅，凭借他平定蜀国的功劳，让他的后代继承爵位，给他一个公正的谥号，这样他死也能瞑目了。这样一来，天下那些追求名声、想立功的人，肯定会愿意为陛下赴汤蹈火！”晋武帝觉得他说得有道理，但没有马上照做。后来，晋武帝向给事中樊建询问诸葛亮治理蜀国的情况，还说：“我怎么就不能得到像诸葛亮那样的臣子呢？”樊建磕头说：“陛下您知道邓艾受冤却没给他平反，就算得到诸葛亮这样的人才，恐怕也会像冯唐说汉文帝那样，难以发挥作用啊！”晋武帝笑着说：“你这话提醒我了。”于是任命邓艾的孙子邓朗为郎中。
吴国很多人都说出现了祥瑞，吴主孙皓就问侍中韦昭怎么看，韦昭直白地说：“这些不过是平常人家箱子里就能找到的东西罢了！”韦昭兼任左国史，吴主想让他给自己的父亲写纪（帝王的传记），韦昭坚持说：“文皇没有正式称帝，应该写传，不能写纪。”这让吴主很不高兴，还渐渐开始责怪他。韦昭又害怕又担忧，就说自己年纪大了，请求辞去侍中、左国史这两个官职，但吴主不答应。后来韦昭生病了，吴主表面上派人送医送药，实际上监视得更紧了。吴主请大臣们喝酒，不管大家酒量如何，每人至少要喝七升。轮到韦昭，就允许他用茶代酒，可后来连这也不行，非要逼他喝酒。而且吴主酒后喜欢让大臣们互相嘲笑、揭短取乐，谁要是说错话、办错事，就会被抓起来，甚至被杀。韦昭觉得这样做，对外破坏大臣们的关系，对内让人心里怨恨，会导致群臣不团结，不是什么好事，所以他只和大家讨论经义问题，不参与互相嘲弄。吴主却认为他不听命令、不够忠诚，新仇旧恨加起来，就把韦昭关进了监狱。韦昭通过狱吏给吴主上书，还献上自己写的书，希望能因此被赦免。但吴主嫌弃他的书又脏又旧，反而更加严厉地责问他，最后还是杀了韦昭，还把他的家人流放到零陵。
五月，晋武帝让何曾兼任司徒。六月乙未日，东海王司马祗去世。秋天七月丁酉初一，又发生了日食。
晋武帝下诏，要从公卿以下官员家中挑选女子充实后宫，要是有人藏着女儿不上报，就按不敬罪论处。在挑选结束之前，禁止天下人结婚。晋武帝让杨皇后负责挑选，杨皇后专挑身材高大、皮肤白皙的，好看的反而不要。晋武帝看上了卞家的女儿，想留下她。杨皇后说：“卞家三代都是皇后家族，不能委屈她做地位低的嫔妃。”晋武帝生气了，就自己来挑选，选中的女子，就用红纱系在手臂上。公卿家的女儿能封为三夫人、九嫔，二千石官员、将领、校尉家的女儿就补充到良人以下的位置。
九月，吴主把他的十一个子弟都封了王，每个王还配了三千士兵，同时宣布大赦天下。这一年，郑冲以寿光公的身份被免职。
吴主宠爱的姬妾派人到集市上抢夺百姓的东西，司市中郎将陈声向来受吴主宠信，就依法处理了这件事。结果姬妾向吴主告状，吴主大怒，找了个别的理由，用烧红的锯子锯断陈声的头，还把他的尸体扔到四望山下。
泰始十年（甲午，公元274年）
春天正月乙未日，发生了日食。闰月癸酉日，寿光成公郑冲去世。丁亥日，晋武帝下诏说：“近年来，很多皇后都是靠皇帝宠爱上位，乱了尊卑秩序，从现在起，不能再把小妾立为正妻。”还从幽州划分出一部分，设置了平州。
三月癸亥日，又出现了日食。晋武帝再次下诏，挑选五千多良家女子和小将吏家的女儿入宫备选，这些女子和家人在宫里哭作一团，哭声宫外都能听见。
夏天四月己未日，临淮康公荀顗去世。吴国左夫人王氏也去世了，吴主非常伤心，好几个月都不出门，葬礼办得十分隆重。当时何氏因为太后的缘故，家族的人都十分骄横。吴主舅舅的儿子何都长得很像吴主，民间就开始传言：“吴主已经死了，现在在位的是何都。”会稽那边又传言：“章安侯孙奋要当皇帝了。”孙奋母亲仲姬的墓在豫章，豫章太守张俊就去给墓地打扫。临海太守奚熙给会稽太守郭诞写信，批评国政，郭诞只把奚熙写信的事上报了，没说那些谣言。吴主知道后很生气，把郭诞抓进监狱，郭诞害怕极了。他的功曹邵畴说：“有我在，您别担心！”于是邵畴主动去官府自首说：“我在本郡任职，地位也挺高，那些谣言本来就不是真的，我讨厌这些难听的话，不想传扬出去，就想着忍一忍，不写在文书上，让大家安静下来，谣言自然就平息了。所以郭诞才没有把事情说清楚，这都是我的错，我不敢怕死，甘愿接受处罚。”说完就自杀了。吴主这才免了郭诞的死罪，把他送到建安去造船。还派自己的舅舅、三郡督何植去抓捕奚熙。奚熙发兵抵抗，结果他的部下杀了他，把首级送到建业。吴主还把张俊五马分尸，这几个人都被灭了三族。章安侯孙奋和他的五个儿子也都被杀了。
秋天七月丙寅日，晋武帝的皇后杨氏去世。当初，晋武帝觉得太子不太聪明，担心他不能继承皇位，就私下问杨皇后的意见。杨皇后说：“立太子应该按长幼顺序，不能因为贤能与否就改变！”镇军大将军胡奋的女儿是贵嫔，很受晋武帝宠爱，杨皇后病重的时候，担心晋武帝在自己死后立贵嫔为皇后，影响太子的地位，就枕着晋武帝的膝盖哭着说：“我叔父杨骏的女儿杨芷，又有品德又漂亮，希望陛下选她充实后宫。”晋武帝流着泪答应了。
晋武帝任命前太常山涛为吏部尚书。山涛掌管官员选拔十多年，每次有官职空缺，他就先选出几个有才能、符合条件的人，等知道皇帝的意向后，再正式上奏。有时候皇帝任用的人，不是山涛推荐名单里排名第一的，大家不明白情况，就说山涛选官随心所欲，还在晋武帝面前说他的坏话，可晋武帝却更加信任、亲近他。山涛选拔人才时，会给每个人写评语再上奏，当时的人把这叫做“山公启事”。
山涛向晋武帝推荐嵇绍，建议让他当秘书郎，晋武帝下诏征召嵇绍。嵇绍因为父亲嵇康获罪，一直隐居在家，想推辞不去。山涛劝他说：“我为你考虑很久了，天地四季都有变化，何况人呢！”嵇绍这才接受任命，晋武帝让他做了秘书丞。
当初，在东关之战失败后，晋文帝司马昭问手下官员：“最近这场败仗，谁该承担责任？”安东司马王仪，是王修的儿子，他回答说：“责任在元帅。”司马昭听了大怒，说：“你这司马是想把罪责推给我吗！”随后就把王仪拉出去斩了。王仪的儿子王裒为父亲无辜被杀痛心不已，从此隐居起来教书授学。朝廷多次征召他，他都拒绝了。王裒日常坐着从不面向西边（因晋在西边，他不愿面对晋朝方向），还在父亲墓旁搭了间屋子居住。每天早晚，他都会抱着墓边的柏树痛哭，泪水滴在树上，时间久了，树都枯萎了。他读《诗经》，读到“哀哀父母，生我劬劳”这句时，总会反复诵读，泪流不止。他的学生们因为不忍心见他难过，甚至都不再学习《蓼莪》这篇诗。王裒家境贫寒，按照家里人口数量种田，根据自身需求养蚕。有人送他东西，他不接受；有人要帮忙，他也不答应。学生们偷偷帮他割麦子，他发现后就直接把麦子扔掉。就这样，王裒一生都没在晋朝做官。
司马光评论说：从前舜杀了鲧，可鲧的儿子禹依然侍奉舜，这是因为禹不废弃天下大义。嵇康、王仪都死得冤枉，他们的儿子不出来为晋朝做事，这是可以理解的。但嵇绍如果没有在荡阴保卫晋惠帝的忠心之举，恐怕难免会遭到君子的批评指责。
吴国大司马陆抗病重，他上奏疏说：“西陵、建平，是国家的屏障。这两个地方处于长江上游，和晋、蜀两个方向的敌人接壤。如果敌人乘船顺流而下，那速度就像流星闪电一样快，到时候可没办法靠其他地方的援军来解救危急。这是关系到国家存亡的大事，可不只是边境被侵犯那么简单的小问题。我父亲陆逊，以前在西部任职时就说过：‘西陵，是国家的西门，虽说容易防守，但也特别容易失守。一旦守不住，不只是丢了一个郡，整个荆州都保不住了。要是这里出了状况，就该倾全国之力去争夺。’我之前请求调拨三万精兵驻守，可主管部门墨守成规，不肯派兵。自从步阐叛乱之后，兵力就更加不足了。如今我管辖的区域绵延千里，对外要抵御强敌，对内还要安抚众多少数民族部落，可现在能调动的兵力，满打满算才几万，而且长期疲弱不堪，很难应对突发变故。我认为，各位王爷年纪还小，现在给他们分配兵马，既派不上用场，还耽误了重要事务；还有，那些黄门宦官私自招募士兵，不少百姓和士兵为了逃避劳役，都跑去应募。希望陛下能特别下道诏书，彻底清查，把这些人都统计出来，补充到边境防御的重要地方，让我的部队能达到八万人。同时，精简各项事务，集中力量做好防御，这样或许才能没有忧患。要是不这么做，那情况就非常令人担忧了！我死后，希望陛下能把西部防御的事务托付给合适的人。”陆抗去世后，吴主孙皓让他的儿子陆晏、陆景、玄、陆机、陆云分别统领他的部队。陆机、陆云都擅长写文章，在当时很有名气。
以前，周鲂的儿子周处，力气大得没人能比，但他平时不注重小节，家乡的人都把他当成一大祸害。周处有一次问乡里的老人：“现在风调雨顺、收成也好，可大家为什么不开心呢？”老人叹气说：“三大祸害不除掉，有什么可开心的！”周处问：“哪三大祸害？”老人说：“南山的白额虎，长桥的蛟龙，再加上你，就是三大祸害。”周处说：“要是就这点事儿，我能解决。”于是他进山打虎，一箭射死了白额虎；又跳进水里，和蛟龙搏斗，最终杀死了蛟龙。后来，周处跟随陆机、陆云学习，专心读书，磨炼自己的品行。才过了一年，州府就纷纷来征召他去做官。
八月戊申日，晋朝把元皇后杨氏安葬在峻阳陵。晋武帝和大臣们在安葬后就脱掉丧服，换上正常的衣服。博士陈逵建议说：“现在咱们实行的丧礼，是汉朝皇帝因特殊情况制定的临时制度；太子又不参与国家大事，应该守满三年丧期。”尚书杜预却认为：“古时候，天子和诸侯守丧三年，一开始都穿斩衰、齐衰这些丧服，等下葬之后就可以脱下丧服，住在守丧的屋子里，在心里守丧到三年期满。所以周公没说高宗服丧三年，而是说他‘谅闇’（帝王居丧），这就是心里守丧的说法；叔向不批评景王脱掉丧服，却批评他太早宴饮作乐，这说明下葬之后就该脱掉丧服，但不能违背‘谅闇’期间的规矩。君子遵守礼仪，关键是心里要有敬意。礼仪可不只是指玉帛这些形式，守丧也不只是穿上丧服这么简单！太子外出要统领军旅，留在京城要代理国事，不是没事可做，应该在安葬后举行卒哭之祭就脱掉丧服，然后在心里守丧三年。”晋武帝听从了杜预的建议。
司马光评论道：圆规和曲尺是用来画方圆的，但普通工匠没有圆规和曲尺，就画不出标准的方圆；丧服是用来表达哀伤之情的，但一般人要是不穿丧服，就很难勉强自己产生哀伤之情。《诗经·素冠》这首诗，说的就是这个道理。杜预巧妙地曲解《经》《传》来迎合人情，虽然说得头头是道，但我觉得不如陈逵的话朴实简要又实在。
九月癸亥日，晋武帝任命大将军陈骞为太尉。
杜预认为孟津渡口地势险要，渡河危险，就提议在富平津建一座黄河桥。有人反对说：“殷、周两朝的都城都在这附近，历经那么多圣贤君主，都没在这里建桥，肯定是建不成。”但杜预坚持要建。等桥建好后，晋武帝带着百官来参加落成仪式，他举起酒杯对杜预说：“要不是你，这座桥可建不起来。”杜预回答说：“要不是陛下英明，我再有本事也没用。”
这一年，邵陵厉公曹芳去世。当初，曹芳被废，迁到金墉城时，太宰中郎陈留郡的范粲穿着素服去拜送，悲伤之情让周围的人都很感动。从那以后，范粲就称病不出门，还装疯不说话，一直住在车上，脚都不沾地。家里子孙有结婚、做官这些大事，就偷偷向他请教。要是事情合适，他脸色就没变化；要是不合适，他就睡不安稳，他的妻子儿女就通过这个来了解他的想法。范粲的儿子范乔等三人，都放弃了学业，不与外界交往，在家专心照顾父亲，连县城都不出。晋武帝即位后，下诏让范粲以二千石的俸禄养病，还赐给他一百匹帛，范乔因为父亲病情严重，推辞不敢接受。范粲不说话，一坚持就是三十六年，八十四岁时，在他一直居住的车上去世。
这期间，吴国接连三年发生大规模瘟疫。
咸宁元年（乙未，公元275年）春天正月戊午初一，晋朝大赦天下，改年号为咸宁。吴国有人挖地挖到一把银尺，上面有刻字。吴主孙皓借此大赦天下，改年号为天册。
吴国中书令贺邵中风说不了话，离职几个月后，吴主孙皓怀疑他装病，就把他抓起来关在酿酒的地方，严刑拷打了上千次，贺邵始终不发一言。最后，孙皓用烧红的锯子锯断他的头，还把他的家人流放到临海。孙皓还杀了楼玄的子孙。
夏天六月，鲜卑族的拓跋力微又派他的儿子沙漠汗来晋朝进贡。沙漠汗准备回去时，幽州刺史卫瓘上奏请求把他留下，还偷偷用金银贿赂鲜卑各部落的首领，离间他们的关系。
秋天七月甲申日是月底，发生了日食。
冬天十二月丁亥日，晋朝追尊宣帝司马懿的庙为高祖，景帝司马师为世宗，文帝司马昭为太祖。这一年，发生大规模瘟疫，洛阳城里死去的人数以万计。
咸宁二年（丙申，公元276年）春天，令狐丰去世，他的弟弟令狐宏接着统领他的势力。杨欣出兵讨伐，斩杀了令狐宏。
晋武帝生了一场重病，后来痊愈了，大臣们纷纷来祝贺。晋武帝下诏说：“每次想到因为瘟疫死去的百姓，我就感到悲伤。我怎么能只顾自己病好了就高兴，而忘了百姓的艰难呢！”他拒绝了所有来祝贺送礼的人。
当初，齐王司马攸很受晋文帝司马昭宠爱。司马昭每次见到司马攸，就会拍着床叫他的小名说：“这是桃符的座位啊！”司马攸好几次差点被立为太子。司马昭临终前，流着泪给晋武帝讲述汉朝淮南王、曹魏陈思王的故事，还拉着司马攸的手交给晋武帝。太后临终时，也流着泪对晋武帝说：“桃符性子急，你做哥哥的要是不仁慈，我要是不在了，恐怕你容不下他。我把他托付给你，你可别忘了我的话！”等到晋武帝病重的时候，朝廷上下都希望司马攸能继承皇位。司马攸的妃子，是贾充的长女。河南尹夏侯和对贾充说：“你两个女婿，跟你的关系都一样亲近。立储君就该选有德行的人。”贾充没回应。司马攸一直讨厌荀勖和左卫将军冯紞谄媚奉承的样子。于是荀勖就让冯紞劝晋武帝说：“陛下之前病重时，齐王司马攸被公卿大臣和百姓拥护，如果太子想让位，他能躲得过去吗？应该让齐王回自己的封国，这样才能安定国家。”晋武帝暗自采纳了这个建议，于是把夏侯和调任为光禄勋，剥夺了贾充的兵权，但他的地位待遇没有改变。
吴国施但叛乱的时候，有人在吴主孙皓面前诬陷京下督孙楷说：“孙楷没有及时去平叛，怀有二心。”孙皓多次责问他，还把他召回京城，任命为宫下镇、骠骑将军。孙楷心里又疑又怕，夏天六月，带着妻子儿女投奔了晋朝。晋朝任命他为车骑将军，封丹杨侯。
咸宁二年（公元276年）秋天七月，有吴国人对吴主孙皓说：“临平湖从东汉末年就被水草堵塞了，老人们都说‘这湖堵塞，天下大乱；这湖开通，天下太平’。最近它无缘无故就疏通了，这是天下将要太平，咱们吴国君主坐着青盖车进入洛阳的祥瑞之兆啊！”孙皓拿这事询问奉禁都尉、历阳人陈训，陈训回答说：“我只会观测天象云气，不懂湖泊堵塞或开通的预示。”陈训退下后却对朋友说：“所谓‘青盖入洛’，恐怕是要亡国投降的意思，可不是什么吉祥的事。”
还有人献上一块刻着“皇帝”字样的小石碑，说在湖边捡到的。孙皓借此大赦天下，改年号为天玺。
湘东太守张咏没有上交人口税，孙皓派人就在当地把他斩首，还把首级送到各个郡去示众。会稽太守车浚为官清廉，政绩出色，正赶上会稽郡大旱闹饥荒，他上表请求朝廷赈济百姓。孙皓却认为他这是收买人心，派使者去将他斩首。尚书熊睦稍微劝了几句，孙皓竟然用刀背把他砸死，熊睦浑身没有一块完好的皮肉。
八月己亥日，晋朝任命何曾为太傅，陈骞为大司马，贾充为太尉，齐王司马攸为司空。
吴国历阳山上有七个并排的孔洞，孔洞里面呈黄红色，当地人称为“石印”，还流传着“石印封口打开，天下就会太平”的说法。历阳县令上报说石印封口打开了，孙皓派使者用太牢（牛、羊、猪三牲）祭祀山神。使者搭起高梯子爬到山上，用红漆在石头上写：“楚地是九州中的渚，吴地是九州的都城。扬州人士，将做天子，历经四代统治，太平从此开始。”使者回来报告后，孙皓大喜过望，封历阳山的山神为王，又一次大赦天下，还把第二年的年号改为天纪。
这年冬天十月，晋朝任命汝阴王司马骏为征西大将军，羊祜为征南大将军，二人都可以开府设置属官、自行征召人才，待遇与三司（太尉、司徒、司空）相同。
羊祜上奏请求讨伐吴国，他说：“先帝向西平定巴蜀，向南与东吴交好，本希望天下百姓能休养生息。但吴国又背弃盟约，边境战事再起。国家命运虽然由上天授予，但功业必须靠人来完成，如果不一举消灭吴国，战争就没有停止的一天。当初平定蜀国时，大家都认为吴国也会随之灭亡，可从那以后，已经过去十三年了。谋划策略的人很多，但做决策还得靠一人决断。那些凭借地势险要得以保全的国家，前提是双方势均力敌。如果力量悬殊，强弱分明，就算有险要地势也守不住。蜀国地势够险要吧，都说‘一人拿着兵器，千人都攻不进来’，可我们出兵之后，蜀军根本没有像样的抵抗，我们势如破竹，直接打到成都，汉中各城的蜀军，都像鸟儿躲在窝里不敢出来，不是他们不想抵抗，实在是实力不够。等到刘禅投降，那些营垒一下子就散了。如今长江、淮河的险要比不上剑阁，孙皓的残暴超过刘禅，吴国民众的困苦甚于蜀地百姓，而我们晋国的兵力比那时更加强盛。不在此时统一天下，却继续陈兵对峙，让天下百姓饱受征战之苦，这种局面长久不了。现在如果调动梁州、益州的军队水陆并进，荆州、楚地的军队进攻江陵，平南将军、豫州军队直逼夏口，徐州、扬州、青州、兖州的军队会师秣陵，让小小的吴国对抗天下大军，他们兵力分散，处处吃紧。我们从巴、汉派出奇兵攻打他们防守空虚的地方，只要一处防线崩溃，吴国上下就会陷入混乱，到时候就算有再聪明的人，也救不了吴国。吴国靠着长江立国，东西绵延数千里，要防御的地方太多，根本没法安宁。孙皓肆意妄为，猜忌下属，朝廷里将领心怀疑虑，民间士兵疲惫不堪，他们既没有长治久安的打算，也没有坚守抵抗的决心。平常日子里，他们就有离心离德的想法，等到我们大军压境，肯定有人投降，他们没法齐心协力拼死抵抗，这是显而易见的。吴人性格急躁，打仗缺乏持久力，他们的弓箭、戟盾等兵器也不如我们，只有水战还算擅长。但一旦我们进入吴国境内，长江就不再是他们的屏障，他们退回城池，就舍弃长处、暴露短处，根本不是我们的对手。我们的军队远离本土深入敌境，将士们都有必死的决心；而吴国人顾虑后方，人心离散。这样一来，用不了多久，我们一定能取胜。”晋武帝非常赞同。但朝中大臣正为秦州、凉州的局势担忧，羊祜又上表说：“平定吴国后，胡人自然就会安定，当务之急是尽快完成伐吴大业。”朝中很多人反对，贾充、荀勖、冯紞尤其认为伐吴不可行。羊祜感叹道：“天下不如意的事，十件里常有七八件。天赐良机却不把握，以后肯定会让主事的人后悔！”只有度支尚书杜预、中书令张华与晋武帝想法一致，支持伐吴计划。
丁卯日，晋武帝立杨氏为皇后，大赦天下。这位杨皇后是之前元皇后的堂妹，长得漂亮又有妇德。晋武帝刚聘娶她时，杨皇后的叔父杨珧上奏说：“自古以来，一家出两个皇后的，没有能保全家族的。恳请陛下把我这道奏表藏在宗庙，以后如果真像我说的那样，或许能让家族免受灾祸。”晋武帝答应了。
十二月，晋武帝任命皇后的父亲、镇军将军杨骏为车骑将军，封临晋侯。尚书褚略、郭弈都上表说杨骏才能浅薄，不能委以国家重任，晋武帝不听。杨骏因此骄傲自满，胡奋对他说：“你是仗着女儿当皇后才这么嚣张吧！看看前代，和皇家结亲的家族，没有不灭亡的，只是早晚的事罢了。”杨骏反问：“你女儿不也在皇家吗？”胡奋说：“我女儿不过是给你女儿当婢女，能有什么影响！”
咸宁三年（公元277年）春天正月丙子初一，发生日食。
晋朝立皇子司马裕为始平王；庚寅日，司马裕去世。
三月，平虏护军文鸯率领凉州、秦州、雍州各路军队讨伐秃发树机能，将其击败，二十万胡人前来归降。
夏天五月，吴国将领邵、夏祥率领七千多人前来投降。
秋天七月，中山王司马睦因招揽逃亡之人获罪，被贬为丹水县侯。天空出现彗星，扫过紫宫星座。
卫将军杨珧等人提议：“古代分封诸侯，是为了保卫王室；现在各位王公都留在京城，不符合分封的本意。而且，让异姓将领驻守边境，应该安排一些皇族亲戚参与。”晋武帝于是下诏，将诸王按封户多少分为三等：大的封国设置三军共五千人，中等封国设二军共三千人，小封国设一军一千一百人；担任都督的诸王，都把他们的封国迁移到离任职地较近的地方。八月癸亥日，晋武帝将扶风王司马亮改封为汝南王，外调担任镇南大将军，都督豫州诸军事；琅邪王司马伦改封为赵王，都督邺城守卫事务；勃海王司马辅改封为太原王，监并州诸军事；因为东莞王司马伷在徐州任职，改封他为琅邪王；汝阴王司马骏在关中，改封为扶风王；又将太原王司马颙改封为河间王，汝南王司马柬改封为南阳王。司马辅是司马孚的儿子，司马颙是司马孚的孙子。没有官职的王公，都被遣返回封国。这些王公舍不得离开京城，都流着泪走了。晋武帝又封皇子司马玮为始平王，司马允为濮阳王，司马该为新都王，司马遐为清河王。
晋朝对立下大功的异姓大臣，都封为郡公、郡侯。贾充被封为鲁郡公，追封王沈为博陵郡公。巨平侯羊祜改封为南城郡侯，羊祜坚决推辞不接受。羊祜每次被授予官职爵位，总是多次谦让，他的至诚之心一向为人所知，所以朝廷特别允许他不接受分封。羊祜历经两代皇帝，长期掌管机密要事，凡是他参与谋划、兴利除弊的建议，事后都会把草稿烧掉，世人无从得知，他举荐的人也不知道是他推荐的。羊祜常说：“在朝堂接受官职，却在私下里谢恩，这种事我做不出来。”
兖州、豫州、徐州、青州、荆州、益州、梁州七个州发生严重水灾。
冬天十二月，吴国夏口督孙慎率军攻入江夏郡、汝南郡，掳掠一千多户百姓后离去。晋武帝下诏派侍臣责问羊祜为何不追击，并打算迁移荆州治所。羊祜说：“江夏距离襄阳八百里，等我们得知敌军消息，他们已经离开很久了，步兵怎么追得上！为了免受责罚而盲目出兵，这不是我的本意。从前魏武帝设置都督，位置大多和州治相近，就是因为军队合在一起容易成事，分散就容易失败。边境地区，敌我双方你来我往很正常，守住阵地就行。如果轻易迁移州治，敌军出没不定，也不知道新的州治该设在哪里合适。”
这一年，大司马陈骞从扬州入朝，之后以高平公的身份被罢免。
吴主孙皓因会稽人张俶擅长告密，对他十分宠信，张俶一路升迁至司直中郎将并封侯。张俶的父亲本是山阴县的一名士兵，深知儿子品行不端，便上奏说：“如果任用张俶为司直，他若有罪，请求不要牵连我。”孙皓答应了。张俶上表请求设置二十名弹曲官，专门纠察官员不法行为，于是官吏百姓因爱憎相互告发，监狱人满为患，朝野上下一片混乱。张俶趁机大肆谋取奸利，骄奢横暴，后来事情败露，他和父亲都被车裂处死。
卫瓘送拓跋沙漠汗返回鲜卑。自从沙漠汗到晋朝做人质，力微可汗身边的儿子们大多受到宠爱。沙漠汗回国后，各部落首领共同诬陷并杀了他。不久力微病重，乌桓王库贤深受信任并掌权，他接受了卫瓘的贿赂，想扰乱各部落，便在庭院里磨砺斧头，对各部落首领说：“可汗怨恨你们谗杀太子，打算把你们的长子全部杀掉。”各首领恐惧，纷纷离散。力微因忧虑而死，享年一百零四岁，其子悉禄继位，鲜卑国势从此衰落。起初，幽州和并州都与鲜卑接壤，东边有务桓，西边有力微，常常成为边境祸患。卫瓘暗中用计离间他们，使务桓归降而力微死亡。朝廷嘉奖卫瓘的功劳，封他的弟弟为亭侯。
咸宁四年（公元278年）春正月庚午初一，发生日食。司马督东平人马隆进言：“凉州刺史杨欣与羌戎关系失和，必定失败。”夏六月，杨欣与秃发树机能的党羽若罗拔能等在武威交战，战败而死。弘训皇后羊氏去世。
羊祜因病请求入朝，到京后，武帝命他乘车入殿，不用跪拜就坐下。羊祜当面陈述伐吴之计，武帝认为很好。因羊祜有病，不宜多次入朝，便派张华去询问计策。羊祜说：“孙皓暴虐已极，如今可不战而胜。若孙皓不幸死去，吴人另立贤明君主，即使有百万大军，长江也难以图谋，将成为后患。”张华深表赞同。羊祜说：“完成我的志向，就靠你了。”武帝想让羊祜卧床指挥诸将，羊祜说：“攻取吴国不必我去，但平定之后，就要劳烦陛下操心了。功名之事，我不敢居功。若事情成功，应当有所托付，希望审慎选择合适的人。”
秋七月己丑，将景献皇后安葬在峻平陵。司、冀、兖、豫、荆、扬州发大水，螟虫损害庄稼。武帝下诏询问主管官员：“如何帮助百姓？”度支尚书杜预上疏认为：“如今水灾，东南尤其严重，应敕令兖、豫等州保留汉代旧陂，修缮以蓄水，其余都开渠排水，让饥民能获得鱼、菜、螺、蚌等食物，这是眼下每日的收益。水退之后，淤田每亩可收数钟，这是明年的收益。典牧署有四万五千多头种牛，不供耕驾，甚至有老了还没穿鼻的，可分给百姓，让他们赶上春耕；谷熟之后，征收租税，这是数年后的收益。”武帝采纳，百姓得到好处。杜预在尚书台七年，对政务的兴利除弊不可胜数，时人称为“杜武库”，说他无所不有。
九月，任命何曾为太宰；辛巳，任命侍中、尚书令李胤为司徒。吴主忌恨胜过自己的人，侍中、中书令张尚是张纮的孙子，为人能言善辩，谈论时常超出孙皓的想法，孙皓积恨在心。后来孙皓问：“我饮酒可以和谁相比？”张尚说：“陛下有百觚的酒量。”孙皓说：“张尚知道孔丘没有称王，却把我和他相比。”于是发怒，逮捕张尚。公卿以下一百多人到宫前叩头，请求赦免张尚的罪，张尚得以减死，被送往建安造船，不久还是被杀了。
冬十月，征召征北大将军卫瓘为尚书令。当时朝野都知道太子昏愚，不能继位，卫瓘每次想陈奏却不敢开口。恰逢在陵云台侍宴，卫瓘假装醉酒，跪在武帝床前说：“臣想有所启奏。”武帝说：“你想说什么？”卫瓘欲言又止三次，趁机用手抚摸床说：“这座位可惜了！”武帝领悟，便假意说：“你真是大醉了？”卫瓘从此不再说话。武帝召集东宫全体官属，设宴会，密封尚书省的疑难事，让太子决断。贾妃十分恐惧，请外人代答，多引用古义。给使张泓说：“太子不学，陛下所知，若答诏多引古义，必定追查起草者，更添罪责，不如直接按意思回答。”贾妃大喜，对张泓说：“就为我好好回答，富贵与你共享。”张泓当即拟稿让太子自己抄写。武帝看后很高兴，先给卫瓘看，卫瓘十分局促不安，众人这才知道卫瓘曾有进言。贾充秘密派人对贾妃说：“卫瓘这个老奴，几乎毁了你的家！”
吴人大规模在皖城屯田，图谋入侵。都督扬州诸军事王浑派扬州刺史应绰攻破皖城，斩首五千级，焚烧积谷一百八十多万斛，践踏稻田四千多顷，毁坏船只六百多艘。十一月辛巳，太医司马程据进献雉头裘，武帝在殿前焚毁。甲申，敕令内外敢进献奇技异服的人，治罪。
羊祜病重，举荐杜预代替自己。辛卯，任命杜预为镇南大将军、都督荆州诸军事。羊祜去世，武帝哭得很哀伤。当天大寒，眼泪沾在胡须和鬓发上都结成了冰。羊祜遗令不得把南城侯印放入棺中。武帝说：“羊祜坚持谦让多年，身虽死而谦让尚存，如今听任恢复他的原封，以彰显他的高尚美德。”南州百姓听说羊祜去世，为之罢市，巷里哭声相连。吴国守边将士也为他哭泣。羊祜喜欢游览岘山，襄阳人在那里建碑立庙，每年祭祀，望碑的人无不流泪，因此称为堕泪碑。
杜预到任后，选拔精锐，袭击吴西陵督张政，大败敌军。张政是吴国名将，耻于因无备而败，不把实情告诉吴主。杜预想离间他们，便上表送还所俘获的吴军。吴主果然召张政回朝，派武昌监留宪代替他。
十二月丁未，朗陵公何曾去世。何曾生活极其奢华，超过君主。司隶校尉东莱人刘毅多次弹劾何曾奢侈无度，武帝因他是重臣，不予过问。等到他去世，博士新兴人秦秀提议说：“何曾骄奢过度，名声传遍天下。宰相大臣是众人的表率，如果生前尽情享乐，死后又无贬责，王公贵人还怕什么呢！谨按《谥法》，‘名与实不符曰缪，怙恶不悛曰丑’，应谥为缪丑公。”武帝下诏赐谥为孝。前司隶校尉傅玄去世。傅玄性格严厉急躁，每次上奏弹劾，有时到了傍晚，就捧着白简，整理簪带，站立不寐，坐着等待天亮。因此权贵豪强震慑，台阁风气肃然。傅玄与尚书左丞博陵人崔洪友好，崔洪也清正严厉、刚直不阿，喜欢当面指出别人的过错，退下后不再议论，人们因此敬重他。鲜卑树机能长期成为边境祸患，仆射李憙请求发兵讨伐，朝议都认为出兵是大事，虏不足忧。
咸宁五年（公元279年）春正月，树机能攻陷凉州。武帝十分后悔，临朝叹息说：“谁能为我讨伐这个虏寇？”司马督马隆进言：“陛下若能任用臣，臣能平定它。”武帝说：“若必能平贼，为何不任用，只是看你的方略如何！”马隆说：“臣愿招募勇士三千人，不问他们从哪里来，率领他们向西，虏寇不难平定。”武帝答应了。乙丑，任命马隆为讨虏护军、武威太守。公卿都说：“现有兵力已多，不宜随意设赏招募，马隆是小将，妄言不足信。”武帝不听。马隆招募能拉开四钧弓、挽起九石弩的人录取，立标测试。从早晨到中午，得三千五百人。马隆说：“足够了。”又请求亲自到武库选兵器，武库令与马隆争吵，御史中丞弹劾马隆。马隆说：“臣将效命战场，武库令却给我曹魏时的朽兵器，这不是陛下让我出使的本意。”武帝命任凭马隆选取，还供给三年军资后遣送他出发。
一开始，南单于呼厨泉让哥哥于扶罗的儿子刘豹做左贤王。到了魏武帝的时候，把匈奴分成了五个部落，刘豹就成了左部的统帅。刘豹的儿子刘渊，从小就才智出众，他拜上党人崔游为师，广泛学习经史典籍。刘渊曾对同窗好友上党人朱纪、雁门人范隆感慨：“我常常觉得，汉初的随何、陆贾有文才没武力，绛侯周勃、灌婴有武力没文才，太可惜了。随何、陆贾遇到汉高祖，却没能立下封侯的功业；周勃、灌婴碰上汉文帝，也没能推动教育发展，这难道不让人遗憾吗！”于是，他开始同时学习军事。等长大后，刘渊臂长如猿，擅长射箭，力气过人，而且身材魁梧、仪表堂堂。因为要做人质，刘渊留在洛阳，王浑和他儿子王济都很看重刘渊，还多次向晋武帝推荐。晋武帝召见刘渊交谈，也很欣赏他。王济说：“刘渊文武双全，陛下要是让他去掌管东南事务，平定吴国不在话下。”但孔恂、杨珧却反对：“不是我们同族的人，心思肯定不一样。刘渊确实才华出众，但不能委以重任。”后来凉州失陷，晋武帝向李憙询问可用的将领，李憙说：“陛下要是能调动匈奴五部的兵力，再给刘渊一个将军的名号，让他带兵西征，秃发树机能的脑袋很快就能砍下来。”孔恂却又说：“要是刘渊真杀了秃发树机能，那凉州以后的祸患只会更大。”晋武帝听了这话，就打消了这个念头。
东莱人王弥，家里世代都是两千石的高官。他既有学问，又有勇有谋，还擅长骑马射箭，青州人都叫他“飞豹”。不过，王弥喜欢行侠仗义，陈留的隐士董养见到他后，就说：“你就爱捣乱、惹祸，要是天下大乱，你肯定不会安心当士大夫。”刘渊和王弥关系很好，他对王弥说：“王济、李憙因为和我是同乡才赏识我，还经常推荐我，可这只会给我招来麻烦。”说完就忍不住叹气流泪。齐王司马攸听说后，就劝晋武帝：“陛下要是不除掉刘渊，我担心并州以后没法安宁。”王浑却站出来说：“我们大晋正要用诚信收服异族，怎么能因为无端的猜疑就杀了做人质的人呢？这多没有气度啊！”晋武帝觉得王浑说得有道理。正好这时刘豹去世，晋武帝就让刘渊接替他父亲，做了左部统帅。
咸宁五年夏天四月，晋朝大赦天下，还废除了部曲督以下官员需要上交人质的规定。
在吴国这边，桂林太守修允去世，他手下的士兵本来要分给其他将领。但督将郭马、何典、王族等人，他们家好几代都在军中，不愿意和老部队分开。正好赶上吴国要清查广州的户口，郭马等人就趁着民心不稳，聚众造反，杀了广州督虞授。郭马自称都督交州、广州诸军事，还派何典攻打苍梧，王族攻打始兴。到了秋天八月，吴国任命军师张悌为丞相，牛渚都督何植为司徒，执金吾滕修为司空。但还没正式任命，又改派滕修为广州牧，让他率领一万人从东路去讨伐郭马。郭马接着又杀了南海太守刘略，赶走了广州刺史徐旗。吴主又派徐陵督陶浚率领七千人，从西路和交州牧陶璜一起攻打郭马。
这期间，吴国还发生了件荒唐事。有工人黄聃家里长出一种菜，叫鬼目菜；工人吴平家里长出一种菜，叫买菜。东观官员翻查图书后，给鬼目菜起名叫芝草，给买菜起名叫平虑草。吴主就封黄聃为侍芝郎，封吴平为平虑郎，还赐给他们银印和青绶。
吴主孙皓每次宴请大臣，都要把大家灌得酩酊大醉。他还专门安排了十个黄门郎当“监察员”，宴会结束后，这些人就上奏大臣们在宴会上的过失，不管是眼神不对，还是说错话，都会被举报。犯了大错的直接被处死，小错的也会被记录下来治罪，有的大臣甚至被剥脸、挖眼。这么一来，吴国上下人心惶惶，没人愿意再为孙皓卖命。
益州刺史王濬向晋武帝上书说：“孙皓荒淫残暴，应该赶紧出兵讨伐。要是哪天孙皓死了，吴国立了贤明的君主，那吴国就成强敌了。我打造战船已经七年，很多船都开始腐朽损坏；我也七十岁了，不知道哪天就不在了。这三个条件要是有一个不满足，以后就难办了。希望陛下千万别错过这个机会。”晋武帝听了，心里开始盘算着伐吴。这时，安东将军王浑又上表说孙皓打算北上，边境守军都进入了戒严状态，朝廷就又开始商量，想把伐吴计划推迟到明年。王濬的参军何攀当时正在洛阳办事，他上书说：“孙皓肯定不敢出兵，我们应该趁着边境戒严，出其不意攻打吴国。”
杜预也上奏说：“自从闰月以来，吴国只是下令戒严，但并没有增兵。按常理推断，吴国兵力有限，肯定会守住夏口以东地区，维持局面，不太可能派大量兵力西进，让国都空虚。可陛下却听信了不实消息，放弃了伐吴大计，要是纵容敌人发展，以后肯定后悔！要是出兵可能失败，那不出兵还说得过去。但现在的计划已经很周全，如果成功，就能开创太平盛世；就算不成功，也就是浪费几个月时间，为什么不试一试呢？要是等到明年，天时、人事都很难说，我担心到时候更难成功。现在出兵有九成把握，最多也就是无功而返，我心意已决，不想因为含糊不清的态度给自己招来麻烦，还请陛下明察！”可过了十多天，晋武帝都没回应。杜预又上奏：“羊祜之前没和大臣们商量，就和陛下秘密谋划伐吴，所以才让大臣们意见不一。凡事都要权衡利弊，这次伐吴，好处有八九成，坏处最多一两成，大不了就是没成功。要是让大臣们说出伐吴会失败的理由，他们也说不出来，不过是因为这计策不是他们提出的，功劳也落不到他们头上，为了面子才固执己见。最近朝廷里不管大事小事，总是有人唱反调，虽然大家想法不同，但也是因为仗着陛下恩宠，不考虑后果，才轻易反对。从秋天开始，我们要伐吴的风声已经传出去了，现在要是停下来，孙皓说不定会害怕，然后迁都武昌，重新加固江南城池，把百姓迁走。到时候城池攻不下来，城外也抢不到物资，明年再想伐吴就难了！”
当时，晋武帝正和张华下围棋，杜预的奏表刚好送到。张华一把推开棋盘，拱手说：“陛下英明神武，国家富强、兵力雄厚，而吴主荒淫暴虐，还杀害贤能之人。现在讨伐吴国，不费吹灰之力就能平定，希望陛下别再犹豫！”晋武帝这才下定决心，任命张华为度支尚书，负责筹划粮草运输。贾充、荀勖、冯紞却还在反对，晋武帝大怒，贾充吓得摘下帽子谢罪。仆射山涛退朝后对别人说：“除非是圣人，不然国家外部安宁了，内部肯定会出问题。现在留着吴国作为外部威胁，说不定是件好事！”
这年冬天十一月，晋朝大举伐吴。镇军将军、琅邪王司马伷从涂中出兵，安东将军王浑从江西出兵，建威将军王戎从武昌出兵，平南将军胡奋从夏口出兵，镇南大将军杜预从江陵出兵，龙骧将军王濬和巴东监军唐彬从巴蜀顺流而下，东西两路大军加起来有二十多万人。晋武帝任命贾充为使持节、假黄钺、大都督，让冠军将军杨济做他的副手。贾充却一直坚持说伐吴不好，还说自己年纪大了，担不起统帅的重任。晋武帝下诏说：“你要是不去，我就亲自出征！”贾充没办法，只好接受任命，率领中军向南驻扎在襄阳，指挥各路军队。
另一边，马隆向西渡过温水，秃发树机能等人率领几万人凭借险要地势抵抗。马隆因为山路狭窄，就造了扁箱车，还在车上搭了木屋，一边战斗一边前进，走了一千多里，杀伤了很多敌人。自从马隆西征后，消息就断了，朝廷里的人都很担心，有人还说他已经死了。后来马隆派的使者在夜里赶到，晋武帝高兴得拍手大笑。第二天一早，他就召集大臣们说：“要是听了你们的话，凉州就丢了！”于是下诏授予马隆符节，任命他为宣威将军。马隆到了武威后，鲜卑部落首领猝跋韩、且万能等人率领一万多部落前来归降。十二月，马隆和秃发树机能大战，斩杀了秃发树机能，终于平定了凉州。
晋武帝下诏，让大臣们讨论朝政该如何改进。司徒左长史傅咸上书说：“现在国家和百姓都不富裕，就是因为官员太多。以前都督只有四个，现在加上监军都超过十个了；大禹划分九州，现在的刺史数量几乎是当时的两倍；人口只有汉朝的十分之一，可郡县却更多；还凭空设立了很多军府，动不动就上百个，但对保卫皇宫一点用都没有；五等诸侯还随意设置属官；这些人的俸禄，可都要从百姓手里出，这就是百姓贫困的原因。当务之急，就是合并官职、减少劳役，让大家都去务农。”傅咸是傅玄的儿子。当时，朝廷还讨论要裁撤州、郡、县一半的官吏，让他们去务农。中书监荀勖却认为：“裁撤官吏不如裁撤官职，裁撤官职不如减少事务，减少事务不如让人心思清净。以前萧何、曹参辅佐汉朝，推行清静无为的政策，百姓就能安定，这就是让人心思清净；抑制不切实际的言论，简化公文，放宽细小严苛的规定，宽恕小的过失，对那些喜欢变法求利的人，一定要严惩，这就是减少事务；把九寺合并到尚书省，把兰台事务交给三府处理，这就是裁撤官职。要是简单粗暴地把天下官吏都裁掉一半，可文武官员职责不同，各地情况也不一样，不能搞‘一刀切’。要是裁撤后工作没人做，还得重新设置，说不定反而更麻烦，这一点必须慎重考虑。”