话说高王纳了尔朱皇后，皇帝虽然听说后很讨厌他，然而并没有图害高王的想法。朝廷大臣中只有斛斯椿心怀反覆，平时喜欢和术士剑客往来，好行机诈。
高王刚进入洛阳的时候，斛斯椿已虑其权力过重，欲图谋杀害他，但贺拔胜说服了他，他才终止。等到高欢杀掉乔宁、张子期，他心里就不安了。
于是与南阳王元宝炬、武卫将军元毗、侍郎王思政等人结成一伙，秘密在皇帝面前说高欢之短，劝皇帝除掉他。舍人元士弼也说诏书到了并州，高欢坐着听读，骄傲无礼。皇帝于是心中常常不平。虽然想除掉他，但无计可施。
一日，忽然接到高欢上表，说尔朱兆已正杀君之罪，灭及全家，而太原王尔朱荣曾有大功于国家，不应没有后人，他最小的儿子尔朱文殊年渐成人，理应继承爵位，以酬谢太原王之功勋。皇帝览奏大吃一惊，心中不愿，可若不同意封叛臣的儿子为王，高欢必定动怒，导生不测。
于是暗中召斛斯椿，以表示之。斛斯椿说：“陛下不可不答应。高欢施恩于文殊，乃是看在庄皇后的面上，不如陛下就顺了他的心意，若是陛下顺了他，我天朝必定幸矣”皇帝说：“怎幸？”
斛斯椿说：“以高欢之雄才大略，励精图治，经营大业，他难以控制。最近听说他又纳庄后为妾，日日夜夜在尔朱兆旧府，与其欢乐。将领们很少见到他的面，过去姬妾也置之不问。因尉景为冀州刺史，于是他就把政事委任给他，自己完全不关心。又觉得北地区已定，关西和好，认为天下无事，因此神志骄横气盈，心里只有美色。现在乘其混乱懈怠之时，正好设计将其除之。高欢若是除掉，他的长子高澄年仅十二，区区孩童，虽有谋臣勇将，蛇无头而不行，皆可利诱也。如此，大权将重回帝室，天下的人，自然都会叩头归服陛下。”
皇帝说：“怎样除掉他？”
斛斯椿说：“臣附耳告诉陛下。”
皇帝说：“好吧。”
斛斯椿附耳告诉了皇帝如何除去高欢。附耳完毕，又返回原位。
皇帝说：“司空高乾，朕欲用之。”你知道皇帝为什么要用高乾吗？先是高乾在信都遭逢父丧，因为战事没有来得及终服。新帝即位，上表请求解除官职行丧，诏解侍中，惟不解司空之职。高乾虽然辞职，不是说皇帝立即批准，既解除侍中，朝廷政事多不参与，平时常常怏怏不乐。皇帝想除掉高欢，他希望高乾能为自己所用，皇帝曾在华林园宴会结束后只留下高乾，对他说：“司空世代忠良，今又建立如此功勋。朕和卿虽然是君臣关系，但却情同兄弟，应该立下盟约，以促进情谊。”“殷勤逼之。”
“高乾回答说：“臣以身许国，怎敢有二心？”皇帝又重申说，乾唯唯。且事出仓猝，不能说皇帝有异图，于是不推辞了。与皇帝焚香订盟，誓终始不相负，于是皇帝决定欲用高乾。”
斛斯椿说：“高乾若能为陛下所用，他的弟弟高敖曹勇冠三军，英勇无敌，自然也可以结之，为陛下效力了。”
皇帝非常高兴，自此朝廷政治军事计划，皇帝只与斛斯椿相商，群臣皆不能参与。能听到相商的，只有南阳王、王思政几人。然南阳王担心事恐不成，心里很是担心。