三思与韦后勾搭上后，权势复振，张柬之等人终于感到了威胁，方多次劝李显诛杀武三思，但昏庸的李显又不忍心杀掉爱女安乐公主的公公。
即使李显想杀掉，而实权在韦后手中，李显也作不了主，韦后是武三思的情人，当然不可能听从张柬之等人的劝谏。
张柬之见劝李显诛杀武三思而不可能，则退而求其次，想从权势上加以抑制，遂上书李显说：“天后当权时，李氏宗室被诛杀将尽。现在幸赖天地之灵，陛下得以复位。”
“可武氏子弟仍然保有王的封号，居显要的官职，与过去一样，这不是大家所愿意看到的情况。希望降低他们的官爵，以满足天下人的心愿。”
张柬之想唤起李显过去的不幸回忆，来去掉武氏的势力。可谁知李显早将过去忘得一干二净，只安于现状，所以无动于衷，仍不听从。
张柬之等无法，只好叹息愤慨，或弹指出血，自怨自艾地说：“过去之所以未诛杀武家，是希望皇上去诛杀，以此来扩大天子的威望。可如今皇帝昏庸，大势已去，又该如何是好。”
当初，“神龙政变”的功臣，右千牛卫将军王同皎不忍心看到武三思祸乱后宫，挟制李显，危害社稷，便联络张仲之、祖延庆、周憬等人，暗中召集壮士，准备劫杀武三思，除掉这个众人愤恨的祸害。