知州以后。王安石的儿王雱对吕惠卿加害父亲的事一直耿耿于怀，置吕惠卿于死地而后快，恰好御史中丞邓绾也想讨好王安石，两人一合计，决定分上表，请求皇上重新审理吕惠卿的案。

吕惠卿也不是一盏省油的灯，当他得知王雱与邓绾上表置他于死地时，便提前下手，向王安石发了致命的一击。

吕惠卿与王安石是多年的朋友，两人过去有很多书信往来，在这些书信中，当然说了一些不足为外人的话。吕惠卿是一个有心人，他将这些书信都完好地保存下来，预备有朝一日能派上用场。当他得知邓绾和王雱在背后他的文章时，他便想起了这些书信。于是，他便把这些书信都呈给皇帝，并控告王安石在背后图谋不轨。

在这些信中，有几封信上有“无令上知此一帖”、“无使上知，勿令齐年知”之句，就是说，不要让皇上知此信中的内容。至于“齐年”是谁，当时却没有究。

赵顼对这些纷如麻的事情早已厌倦，看了这些信后，第一次冲王安石发了脾气。

王安石回家之后，痛骂自己的儿，骂他不该背着自己去招惹吕惠卿。父二人为此大吵了一场。

王雱显然不知吕惠卿手中藏有这些信，并且握有父亲的把柄。悔自己行动鲁莽，给父亲带来灾难。受父亲的斥责后，心中憋气，以致抑郁成疾，立即就病倒了，不久，背上生一个恶疮。

王安石遍请郎中医治，终究没有挽回儿的生命，王雱撒手归西了。

老来丧，是人生之大不幸。儿的猝然离世，对王安石是一个沉重的打击，他肝寸断，萌生退意，上表请求辞职。

御史中丞邓绾担心王安石一去，自己失去了靠山，禄位就不保，上表奏请赵顼挽留王安石。

赵顼认为邓绾为御史，竟然为大臣请恩，免去邓绾之职，贬往虢州去为知州。王安石去意更，力请解除职务，

熙宁九年（1076年）十月，赵顼第二次罢免了王安石的相职。

王安石带着壮志未酬的遗憾和满腹的伤悲离开了京城，结束了自己的政治生涯，退居金陵，潜心学问，不问政治。

王安石既退金陵，经常书写“福建”三字。福建是指吕惠卿，因为是悔被吕惠卿所误。

王安石罢相后，赵顼提吴充、王珪为同平章事，冯京知枢密院事，蔡确参知政事。

吴充与王安石是儿女亲家，他一向不赞成王安石的所为，经常向赵顼奏陈新法不良，赵顼喜他不党附王安石，故提为宰相。冯京与王安石是同年，王安石致吕惠卿私书中“勿令齐年知”一语中的齐年，指的就是冯京。赵顼事后知了这件事，认为冯京是个贤者，召他知枢密院事。

吴充当了宰相后，对新法有所变革，但他认为自己才疏学浅，奏请赵顼召回司光、吕公著、韩维等人，又举荐孙觉、李常、程灏等数十人。