军还，武成帝诏令斛律光率五万步骑沿平攻姚襄、白亭等城戍，都攻下了，俘虏城主、仪同、大都督等九人及数千士卒。又别封长乐郡公。是月，北周派其国纥广略围攻宜，斛律光率五万步骑赶往援救，两军在城下大战，战败周军，夺取了北周建安等四戍，俘获周军千余人，凯旋而归。

大军还没有抵达邺城，敕令放散兵众，令归其家。斛律光认为兵士多立有军功，没有得到劳奖赏，如果放散，不施恩泽，就不能赢得民心，于是秘密上表请求派人宣旨。军卒仍然前，朝廷迟迟不发使，军队行至紫陌，斛律光只好命令驻营等待。后主听到说斛律光军营已近都城的通报，很不兴，急派舍人请斛律光见，然后劳奖赏兵众，令其放散。拜斛律光左丞相，又别封清河郡公。

斛律光常在朝堂垂帘而坐。祖珽不知晓，骑从其朝堂门走过。斛律光见后大怒，对人说：“此人好大胆！”后来祖珽在内省，声大气地讲话，斛律光正好路过，听到后，又十分恼怒。

祖珽知斛律光忿恨，向斛律光的随从仆行贿，还打听说：“相王很恼怒我吧？”答：“自从公主事后，相王每夜抱膝长叹说，‘盲人朝，国家一定破灭’！”穆提婆请求娶斛律光庶女为妻，斛律光不同意。

后主将晋田地赏给穆提婆，斛律光在朝上大声讲：“晋的田地，神武帝以来常禾，饲几千匹，以平寇难，如今赏赐给穆提婆，这不是破坏军务吗？”因此斛律光与祖珽、穆提婆二人有了怨仇。

斛律光一个女儿作了皇后，两个女儿是太妃，弟皆封侯作将，还娶了三位公主。他的弟弟斛律羡都督幽州刺史，在边境筑城设险，养练兵，修利、劝农耕，威震突厥。全家功位显，门第极盛。因此，斛律光常为此担忧，怕惹来祸患，居家很严，生活节俭，不谋私利，杜绝贿赂，门无宾客，也不肯预朝政。

北齐后主纬是个昏庸无能的皇帝，他信祖珽、穆提婆等小人，政治黑暗**。斛律光非常讨厌这些人，说“目人用权，国必破矣”！引起了他们的忌恨和陷害。

武平三年（572年），北周将军韦孝宽为解决斛律光这个北齐的前线支，便制造谣言，编成儿歌，在邺城歌唱，歌曰：“百升飞上天，明月照长安（百升为一斛，明月是斛律光的字，谣言暗喻斛律光有篡位野心）。”又说：“山不推自崩，槲树不扶自竖。”

祖珽又乘机加了几句：“盲老公背上下大斧，饶老母不得语。”并让小儿在路上歌唱。穆提婆听唱后，告诉了自己的母亲陆令萱。陆令萱认为“饶”是指斥的自己；“盲老公”说的是祖珽。因而相与密谋，将歌谣向纬启报，说：“斛律累世为朝廷大将，明月威震关西，丰乐威行突厥，女为皇后，男娶公主，谣言十分可怕。”

纬事询问韩长鸾，韩长鸾认为不必大惊小怪，事情也就此作罢。祖珽又在后主面前挑拨，当时纬旁只有何洪珍在。

纬说：“前得你的报告，本打算施行的，却给长鸾制止了。”祖珽没有回答，何洪珍言说：“如若无此意，还行；既然有此意，就应该施行，万一去，那就把事情闹大了。”纬说：“洪珍的话讲得有理。”但还是犹豫未决。

逢丞相府佐封士让密奏，奏称：“前时斛律光西征回京，陛下敕令放散兵卒，斛律光却令军卒京师，行不轨，事情没有成功就停止了。再说，斛律光家藏有弩甲，拥有僮千多，常派人前往丰乐、武都等人家里，相互勾结。如不早加以制止，任其发展，那就危险了。”恰好启奏上有“军卒京师”之语，与纬前些时日的怀疑相合，纬便对何洪珍说：“人的想法有时很正确，我以前怀疑他有反叛之心，现在看来的确如此。”