在矾书案破案以后，康熙对于胤禩的忌惮再一次超越了废太子胤礽。虽然在康熙五十四年，康熙在年初的时候已经随便找了个“胤禩惫懒，不堪大用，不从事政务”的理由停发其俸禄，但谁都知道，胤禩“不从事政务”其实是康熙对胤禩心有防备，不再给胤禩政务，生怕胤禩再处理好了几个任务，把他这个皇阿玛取代了！
而且事实是，虽然胤禩作为八贝勒的俸禄是很丰厚的，通常来说停发俸禄也会是一个很严酷的惩罚，但对于胤禩来说，停发俸禄除了被打脸丢面子以外根本就是不痛不痒。作为八爷党的首领，胤禩根本就不缺那点钱，康熙也没想到的是，胤禩被停发俸禄以后，“八贤王被皇上打压”的名声传得更广了。康熙私底下出去微服私访的时候，听到民间对胤禩的称谓都是“八贤王”而不再是“八贝勒”“八阿哥”，此时的康熙心里对胤禩产生了强烈的恐惧。
哪怕之前胤礽在做太子的时候，康熙恐惧胤礽获得美名从而取代他，他也是有办法打压胤礽的。胤礽的真正亲信除了索额图一家外就再也没有了，在索额图死后，胤礽更是逃不脱他的手掌心，他多次放纵别人败坏胤礽的名声，这样一来，就能稳固他这个皇阿玛的地位。
但胤禩不一样，康熙悄悄也对胤禩搞了一些舆论战，就比如说年初时剥夺胤禩的俸禄这件事，他当时也找了几个托去说胤禩的不是，但对胤禩完全没有任何作用。康熙深知，胤禩不同于胤礽，他的势力盘根错节，党羽众多，民间又有“八贤王”的美名，自己以往对付胤礽的手段对他根本不管用。
正在康熙为此苦恼时，有大臣密奏，称胤禩私下与几位手握重兵的将领来往密切。康熙心中一惊，这若是胤禩暗中勾结武将，意图谋反，那后果不堪设想。于是，康熙表面不动声色，暗中派人监视胤禩与那些将领的一举一动。
好在经过康熙的调查，这只是胤禩在带着胤祯串门子，向武将们学习带兵打仗，在八爷党众人看来，策妄阿拉布坦的征讨事宜早晚要落在胤祯头上，所以胤禩与武将们走动的次数多了很多。
即便康熙调查出来是安全的，他心里也还是慌了，胤禩在他还没注意到的时候就可以和武将走动，要是胤禩真的心态变了要学李世民政变，就是要弄死他取代他，那还得了？
康熙越想越觉得必须要给胤禩一个狠狠的警告。他决定在朝堂之上公开敲打胤禩。一日早朝，康熙突然提及胤禩与武将们的交往之事，语气严厉道：“八阿哥，朕知你好学上进，与武将们交流带兵打仗之法本是好事，但你需明白自己的身份，不可逾越本分。”
胤禩心中一惊，立刻跪地叩首道：“皇阿玛，儿臣只是为了能为朝廷多做贡献，并无其他心思。”康熙冷哼一声：“希望你所言属实，若让朕发现你有不轨之心，绝不轻饶。”康熙知道自己现在其实已经没有真正弄死胤禩的能力了，但是口嗨两句他还是做得到的——何况胤禩明面上也不好和他顶嘴，胤禩可不是把他完全当成父亲，想说什么就说的胤礽。不出康熙所料，胤禩低眉顺眼，没有一点不满情绪流露出来。
朝堂之上气氛瞬间凝固，众大臣皆不敢出声。胤禩虽表面镇定，但内心已明白康熙对自己的猜忌愈发深重。下朝后，胤禩回到府邸，心中烦闷不已。
而康熙虽然训斥了胤禩一顿，但心里的不满一点都没有消退，毕竟他这个皇帝也只能口嗨一下胤禩，胤禩的人脉太过于广了，康熙都没办法！
另一边，胤禟和胤禩一样也广泛结交大臣。在一个叫做何图的大臣来京城述职的时候，胤禟与何图相谈甚欢，胤禟就问：“何大人，你在京城可有家属？”何图说：“回九阿哥，我家中老母尚在京城。”胤禟听了，立刻笑道：“何大人一片孝心，不如将老母亲接到府中，也能尽尽孝道，我手里正好有一处幽静小院，可让老人家安享晚年。”何图心中感激，连忙谢道：“多谢九阿哥美意，只是如此叨扰，实在过意不去。”胤禟摆了摆手：“何大人不必如此见外，你为朝廷效力，我不过是略尽绵力罢了。”
很快，胤禟就带着何图到了那处小院，将小院的地契交给了何图，何图看小院环境很好，就收下了。胤禟又主动出钱去给何图打通关系，在康熙朝末年有种陋习叫“捐纳”，就是通过钱财打通关系来追求升官，胤禟出钱就是主动帮助何图捐纳。
何图很感激胤禟，胤禟很快又帮何图捐纳了一次，对何图说：“何大人，我认为你颇有才能，必成大器，这点钱不过举手之劳，好好为朝廷办差就好。”此事很快传到了康熙耳中。康熙本就对八爷党心存忌惮，胤禟这般大肆结交官员、出钱捐纳，无疑是在扩大八爷党的势力，这让康熙更加不满。
一日，康熙在宫中召见胤禟。胤禟入宫后，见康熙脸色阴沉，心中不禁一紧。康熙冷冷道：“九阿哥，你倒是热心肠，又是送小院，又是出钱捐纳，你可知这是坏了朝廷规矩？”胤禟连忙跪地，恭敬道：“皇阿玛，儿臣只是见何图大人忠心为国，想助他一臂之力，绝无坏规矩之意。”康熙哼了一声：“你若真是为朝廷着想，便该恪守本分，莫要做出让朕猜忌之事。”胤禟额头冒汗，连称不敢。
另一边，何图接受了胤禟的恩惠以后，立刻决定改换门庭彻底投靠八爷党。事实上，在很久之前，何图曾经是胤禛的幕僚，当然，是秘密性质的，他做过胤禛幕僚的事，他甚至连自己的妻子都没告诉，也没别的原因，就是当时的四贝勒胤禛小气。
胤禛对手下的赏赐必须是给他立了大功才会有的，但胤禛平时又喜欢装弱小装作闲散宗室，别人又如何能立下大功呢？于是何图在胤禛那里混了一段时间以后觉得胤禛小家子气，就不给他当幕僚了，之后不参与朝政斗争，安心做官，最后被提拔为甘肃巩昌府的知府。
何图倒向八爷党一事，不知怎的传到了胤禛耳中。胤禛表面不动声色，心中却认为何图忘恩负义。他深知八爷党势力日益壮大，对自己的威胁与日俱增，如今何图的倒戈，无疑是让八爷党如虎添翼。
在胤禛看来，八爷党的每个人都是在和他争夺八弟的注意力，除了胤禩这个八爷党首领以外，他平等憎恨着所有的八爷党。不过胤禛现在还需要继续装弱小，所以他不能直接去朝堂上弹劾何图——要是被康熙注意到，他也没好果子吃。
于是趁着何图还没有离开京城回甘肃，胤禛私底下找到了何图。胤禛开门见山：“何大人，你曾是我的幕僚，如今却投向八爷党，未免太忘恩负义了。”
何图心中一惊，没想到胤禛会找上门来。他很快镇定下来道：“雍亲王，过去之事已如烟云，如今我为朝廷效力，只看谁更能成大事。何况我早就已经没有当你的幕僚了，是正大光明辞去的，在给你做幕僚那些日子，你给我的好处总共加一起都没这段时间九爷给的多！”
胤禛可以接受别人说他不如胤禩，甚至有人这么说的话，他还会为自己有这么优秀的弟弟感到骄傲。但胤禛听到何图说他不如胤禟，心里就急了，在胤禛看来，胤禟胤?胤祯都是八弟胤禩身边的小人罢了。
胤禛张口就说：“胤禟的钱全都是他和商人伙同在一起赚的，商人是什么东西何大人你没数吗？自古有云，商人就是不事生产到处乱跑的社会蛀虫！你和这种人搅和在一起，我很怀疑你的人品！当年你辞去还是四贝勒的本王的幕僚职务，原来你是只喜欢钱吗？”
何图冷笑一声：“雍亲王，如今这世道，有钱能使鬼推磨。九阿哥仗义疏财，助我改善家中老母生活，又帮我捐纳升迁，此等恩情，我怎能不报？您莫要以商人之事来抹黑九阿哥，商人亦为朝廷纳税，何来社会蛀虫一说？我只认谁对我有恩，谁能让我施展抱负。”
胤禛气得脸色铁青：“你……你如此短视，只看眼前利益，将来必有后悔之日！八爷党看似风光，实则危机四伏，你若继续与他们为伍，恐难有善终。”
何图不屑地撇撇嘴：“雍亲王，您还是多操心操心自己吧。如今八爷党势如破竹，得人心者得天下，您还是早早放弃争夺之念，莫要到时候落个凄惨下场。”
胤禛深吸一口气，强压下心中怒火，冷冷道：“好，好得很！何图，你今日所言，本王记下了。咱们走着瞧！”说罢，胤禛拂袖而去。何图望着胤禛离去的背影，嘴角勾起一抹嘲讽的笑。
胤禛来拜访何图的事情很快传到了康熙耳朵里。康熙对于胤禟和商人结交这件事一直是默许甚至支持纵容的，在清朝的大环境下，结交商人对胤禟自己的名声不好，也会让胤禟显得对他这个皇帝没有威胁。
但康熙没想到胤禟结交商人还真结交出效果来了，有了钱，胤禟甚至都不需要搞行贿受贿那一套，直接光明正大地以“关心大臣生活”为名义给群臣送东西。康熙深知，何图只是胤禟关心过的人之一而已，照这样下去，胤禟的钞能力肯定能让更多人投靠八爷党，哪怕胤禟因为和商人交往名声不好，但八爷党的首领也不是胤禟啊！康熙为自己早年间支持胤禟结交商人的做法感到头疼。照胤禟这送送送的架势，回头有人会觉得“皇上对我还没九爷好”也是必然发生的！