一成，被革职的官员，纷纷起用，瑞麟以侍郎衔派到僧格林沁军中效力，在山东剿捻，攻野羊山集匪巢不利，

而且失前蹄受了伤，逃到济宁。这一下又被革职。

第二年文宗崩逝，接着发生“辛酉政变”瑞麟由于慈禧太后的提携，以镶黄旗汉军都统，调为河都统，不久又调为广州将军。鸿宾降调，瑞麟更兼署两广总督，在广州卖缺纳贿，毫无顾忌。公事都给一个幕友徐灏，他自己躲在衙门里，除了讲究饮和欣赏顺德女佣的天足以外，便是不断闹笑话，为广州人上茶楼“一盅两件”之余，平添许多有趣的话题。

旗人的笑话，以认白字为最多，瑞麟的官大名气大，所以认白字的笑话更名。有一次遇到广州的米价大涨，他问属员，是何缘故？那人答了四个字：“市侩居奇。”居奇是听懂了，市侩二字却不懂，他诧异地问：‘四怪’是什么人哪？”

不过他为人憨厚，颇有自知之明，所以一个姓宓的同知，分发到省，初次谒见总督时，他拿着“手本”老实说：“老兄的姓太僻，我不知是个什么字。请你自己说吧！”听见的人都想笑不敢笑。

瑞麟的这些笑话，朝廷当然有所闻，他在广州的“官声”朝廷更有所闻。但是他“好官自为”能屹然不倒，这不仅因为内有慈禧太后的眷顾，而且从恭王以下，凡是满洲的王公大臣，都愿意维持瑞麟。这固然由于他手大方，人缘极好，而最主要的一个原因是，开国至今，两百年来，汉人势力之大，前所未有，十五省巡抚，只有一个安徽巡抚英翰是满洲人，包括“漕运”、“河”在内的十个总督，亦只有湖广总督官文和两广总督瑞麟是满洲人。及至官文为曾国荃不顾一切，断然奏劾，由查案的谭廷襄接署以后，瑞麟更成了一名硕果仅存的督臣。倘或再由吴棠接替，则天下总督，尽为汉人，满洲臣民，自然不服，所以不瑞麟如何贪墨，仍旧要维持在位。诚然，瑞麟不足以胜任此职，但满洲大员，几乎都是一丘之貉，倒不如顺从慈禧太后，把他留在任上的好。

这是内幕中的内幕，了解的只有极少数的人，而此“极少数”的人，连安德海都未包括在内，包括在内的，自然有恭王。

奉到赴广州查案的上谕，吴棠知自己决不会再回任了，所以离开福州时，就象奉调那样，把眷属行李，扫数带在边，并且亲笔派两百名兵丁护送。由福州坐船到上海，派人把眷属先送回安徽盱眙老家，然后由上海再坐船到香港，转广州去查案。

在上海的时候，吴棠才知瑞麟得慈禧太后眷注的原因跟自己一样，而且他是旗人，比自己更占便宜，所以已不存取而代之之想。也因为如此，他把广州查案，当作珠江揽胜，从容不迫地慢慢行去，到了广州，也不讲钦差大臣应有的“关防”虽然表面上不便公然与总督酬酢，暗地里却是轻车简从，日日叙快饮。

瑞麟和吴棠都是天生福人，健于饮啖，瑞麟家厨所烹调的鱼翅，是连“在广州”的富家都自叹不如的，所以吴棠大快朵颐之余，对瑞麟颇有相见恨晚之。

案当然也要查，查明的原因是蒋益澧有左宗棠撑腰，借裁陋规与总督争权，而杯酒言之间，得知瑞麟亦无意与蒋益澧为难，只要他离开广州，余非所问，于是吴棠奏复：

“蒋益澧久历戎行，初膺疆寄，到粤东以后，极思整顿地方，兴利除弊；惟少年血，勇于任事，凡事但察其当然，而不免径情直遂，以致提支用款，发勇粮及与督臣商酌之事，皆未能推求例案，请议。”

吏议复，请将蒋益澧降四级调用，慈禧太后知蒋益澧在这一案中有所委屈，改了降二级，由巡抚变为候补察使，发往陕甘总督左宗棠军营差委。

不久，四川总督骆秉章病故，不用说，当然由吴棠调补。空来的闽浙总督一缺，由浙江巡抚新贻升任，他是山东的荷泽人，李鸿章的同年。在陕甘回教内大起纠纷之时，新贻的新命，颇为人所瞩目，因为他是清真。

对于这番调动，大家的看法是，吴棠的终已定，而蜀中的百姓却要遭殃。以吴棠的、才和抱负来说，不可能拜相封侯，也不可能会调两江或两广总督，这样以天皇帝远的四川总督终老，尽不妨大事搜括，所以说蜀中的百姓要遭殃。