杰等六人得以免死。来俊臣又审讯大将军张虔勖、内侍范云仙。张虔勖不堪受屈，到大理徐有功上诉，来俊臣派卫士刀砍死。范云仙自称曾伺奉先帝，来俊臣命人割掉他的，两人均即毕命，以后人人破胆，没人敢说话。

后来，来俊臣多次收人贿赂，被御史纪履忠揭发检举，下狱判死罪。武后因他以前能侦察各急变，赦他不死，贬为庶民。长寿年间，又将他召回，任他殿中丞，又因纳贼贬为同州参军事。但他暴恣肆不改。迫夺取同列参军的妻，又侮辱其母。不久，又召来俊臣为合尉，提为洛令，又晋升为司仆少卿，赐给司农婢十人。来俊臣又因官中没有婢，听说西突厥酋长阿史那斛瑟罗有个婢女善歌舞。来俊臣就令其党人告发斛瑟罗将要造反，目的在于夺取那婢女。各蕃的酋长几十人到朝廷自割耳朵划破脸面申诉斛瑟罗之冤，仅得免死。那时，綦连耀、刘思礼等人结朝士，图谋不轨。明堂尉吉顼将此事告诉来俊臣，辗转牵连，杀了几十族。事后，来俊臣想独揽检举之功，又罗织吉顼的罪状。吉顼十分恐慌，求见武后，自陈心迹，才得免祸。来俊臣诬陷司刑史樊戬，以谋反罪判死刑，樊戬之到朝廷申诉，有司没有人敢接治这个案。以致其当廷剖腹明志。秋官侍郎刘如王睿同情而泪，来俊臣就上奏说刘如王睿是樊戬的同党。刘如王睿申诉是因年老有疾，所以泪无法控制。审讯结果论绞刑。

武后赦他不死，放汉州。万岁通天年间，上巳节(三月节)，来俊臣与其党羽集聚在龙门，将缙绅的名字一个个贴在石上，再拿小石去掷，掷中哪一个就先告哪一个，想掷宰相李昭德却不能掷中。

有人把这事告诉李昭德，李昭德打算将来俊臣的恶行绳之以法，但还未行动。

河东节度使卫遂忠虽然品行不好，但颇有辩才，一向与来俊臣相好。当初太原节度使王庆诜有个很漂亮的女儿，已许给段简。来俊臣知该女很，就假作诏书娶为己妻。那天，来俊臣正与妻家的亲属宴饮。正喝在兴上，卫遂忠来了，守门人不肯去通报，骗他说“去了”卫遂忠知是骗自己，直闯内堂，破大骂，言语辱。来俊臣耻于妻及姻家受辱，命人殴打卫遂忠，并将他反捆起来，事后又放了他。从此两人之间有了仇怨，来俊臣的妻也因羞惭而自杀。段简有个妾很，来俊臣派人去暗示，段简很害怕，就把那妾送给了来俊臣。

来俊臣知群臣不敢对自己怎么样，于是心里产生了狂妄的念，常常以石勒自比。他准备诬告太及庐陵王、南北衙通同谋反，好让他独揽朝政。卫遂忠告发了他的谋。以前，来俊臣多次告发武家人、太平公主及张昌宗等人的过错，武后都压下不提。这一次可激怒了武家众人，共同揭发来俊臣的罪恶。

最后诏令在西市斩首。死时年四十七岁。人人都抚额相庆，说：“今天才能把背贴着床安心睡觉了。”大家争着去剜他的、摘他的肝、剁他的以愤，一会儿工夫只剩下一副骨，又用践踏其骨，尸骸丝毫都没有留存。其家属也均没收官。