总而言之一句话，是成心跟他过不去。

当然，他不独恨翁同龢，也迁怒于翁门弟，而尤不满于文廷式。于是杨崇伊便在他的授意之下，利用珍妃恰好大失所的机会，上奏严劾“翰林院侍读学士文廷式，遇事生风，常在松筠庵广集同类，互相标榜，议论时政，联名奏，并有与太监文姓结为兄弟情事，请立予罢黜。”结果，文廷式丢官被逐，永不叙用。在杨崇伊，自是了一恶气，但也从此不齿于士林了。

听端方细谈了这段往事，瑞澂才知他的用意是要讨好江南的士大夫，可是他不知，端方也是借此要报复李家，李鸿章的小儿经迈，在端方是视作冤家的。

那是两年前的事。端方随载泽洋考察宪政，李经迈正使奥国，宴席上，端方认为奥国供应不周，颇表不满。而言外之意，又仿佛责怪李经迈联络未妥，以致奥国才会慢客。

李经迈以贵公，自然不受他这话，反相讥，说他的官是“大使之级”但所奉的使命不是，不能怪奥国不以礼待，当场闹得不而散。

事后李经迈颇有警觉，知端方气量狭隘，回国之后可能会“告御状”因而先将经过情形，函陈外务有所解释。果然，不久接得外务会办大臣那桐的复信，这是端方曾经提到此事，不意为李经迈抢了个原告，大为沮丧。可想而知的，冤家结成了。

第二年李经迈回国，奉调江苏臬司，这时端方在当两江总督，李经迈怕他还念着旧怨，特意写了一封措词很恭敬的信，先行致意。谁知端方竟置之不理！见此光景，李经迈这个江苏臬司不得，在召见时，将与端方结怨的经过细细奏明，请慈禧太后作主。

“他敢？”慈禧太后这样说。不过第二天还是作了安排，将李经迈调为河南臬司。

说也奇怪，上谕一下，立刻就接到端方的贺电，情词十分恳挚。过了几天，李经迈才知他前倨后恭的理。

原来端方的胞弟端锦，是河南候补的直隶州知州，现充陕州盐厘局总办。河南不盐，仰给于两淮、长芦、河东，尤其是河东的潞盐，以河南为主要的引地，境先在陕州厘，税收极旺。所以端锦的这个差使，号称“通省第一差”

不过，他的这个好差使快要当不成了！端锦嗣母亡故，丁忧照例开去差缺，端锦苦恋不舍，请他老兄设法。汉军原可照旗人的规矩，只穿孝百日，不必守三年之丧，但穿孝是穿孝，官是官，即令只有百日，亦须离差。而况汉军毕竟仍是汉人，办不能全照旗人的规矩，端方自为封疆大吏，何能公然致函河南的巡抚与藩司，为胞弟作此贪禄忘亲的求？

正当此时，李经迈改调河南，端方认为这是个好机会。因为第一，自觉李经迈有对不起他的地方，应能借此补报；其次，以新到省的监司大员，为端锦说话，巡抚、藩司总不好意思一次就不给面。所以接在贺电以后，写了封很恳切的信，托李经迈代为斡旋，让端锦能够“夺情”留任。信中又说：他在两江，开支甚大，所以养家全靠端锦此差，每年有八千两银的收。这话看似坦诚，其实虚伪，若说到两江总督，还要兄弟替他养家，那是谁也不会相信的事。

“夺情”非礼，李经迈何能为力？因此端方跟他的怨结得更了。如今迁怒到李家的至亲，杨崇伊便越发“罪孽重”了！

“莘儒！”端方从屉里取一张纸来“你这个申详的稿，前面铺叙事实，不错，后面轻描淡写，变成重脚轻，很不妥当。你看看这个稿！”

端方已请幕友为他重拟详文：“本司查杨绅崇伊，为员，又当守制，乃于登堂女，预，复敢两次寻衅，带领家丁，夤夜持枪滋事，实属目无法纪，不顾名誉。且在省会之地，竟敢如此肆恶，是其在常熟原籍，遇事生风，乡人侧目，人言亦属可信。虽吴绅韶生年老畏事，不愿求，本司查得既详，未敢玩法容隐，专案详请奏参。”

说是说得重了一，但既有总督作主，瑞澂觉得就得罪了杨崇伊亦不要。当时说：“很好，很好！”“那么，我就据你的原详，跟陈中丞会衔奏。稿就请你帝了去。”

当天晚上，端方请瑞澂吃饭，筵间便将会奏的稿了去。在照叙原文之后，接着写：“臣等查抢夺妇女，乃系徒恶习，该杨崇伊声名本劣，此次横行不法，竟与地痞氓无异。当仓皇抵御之际，即使被殴受伤，亦属咎由自取，无足顾惜。且据司详，并闻王阿松有许送二千两，托其包揽情事，如果属实，尤为卑污无耻！不惟滋害乡里，且贻羞朝廷，此而不惩，必将日益凶横，无恶不作。相应请旨将丁忧在籍，前浙江候补杨崇伊，即行革职，永不叙用，不准逗留省城，常熟地方官，严加束。如再不收敛，及预地方一切事务，即所犯劣迹，从严究办，以惩凶悍，而保治安。所有参劾在籍员缘由，谨折会陈，伏乞皇太后、皇上圣鉴。”