月，之芳与赖塔阅兵亭门，率总兵官李荣、副都统瑚图等薄贼垒，军坑西。之芳手执刀督阵，或请少避，之芳曰：“三军司命在吾，退即为贼乘。今日胜败，即吾死生矣！”守备程龙怯战，斩以徇。麾众越壕栅，败之。遣陈世凯乘胜复义乌、汤溪，鲍虎复寿昌、淳安，牟大寅破常山，王廷梅败贼于金华石梁、大沟源，李荣亦复东，复败贼于金华寿溪，馘贼将，毁寨十八。参将洪起元复嵊县。诏嘉之芳调度有方。

十月，贼将桑明等五万众由常山衢州西沟溪，倚山为营，觊联南路贼巢。之芳与赖塔议，不意，遣廷梅与参领禅布夜趋沟溪，分队攻，又大破之，贼弃营遁。

十四年，康亲王杰书破曾养金华，复州；贝傅拉塔亦复黄岩，围温州。惟九玉踞江山、常山、开化，连寨数十，与之芳相持。五月，乘大雨河溢，由南塘捣贼前岭，阵斩七百馀级。十五年，遣将自遂安连破贼寨，遂复开化。

会郑锦漳、泉，耿继祚方攻建昌溃营遁。上知闽中有变，命王撤温州之围取福建，之芳乃建议直捣仙霞关，曰：“取之路，不在温、而在衢。虽九玉死守河西难猝破，然其南江山，西则常山，皆间可袭。我兵一，使彼首尾受敌，即河西之垒不能独完。”王至衢州，从之芳议。遂兵大溪滩，复江山，九玉走，别取夺仙霞。诸将受之芳密檄，急据关夹击，其将金应虎等穷蹙降。

王师下福建，临行，之芳启曰：“王但饬诸军勿虏掠，即长驱，兵可不血刃也。”未几忠降，温、贼皆溃散。忠所署置总兵鹏、汪文生、陈山，将军程凤等犹踞玉山、铅山、弋、德兴，之芳请会剿。时吴三桂兵寇吉安、袁州，江西兵不能东，乃独遣兵复玉山，文生遁；自白沙关趋德兴，擒鹏；遣游击郭守金等复铅山、兴安、弋、贵溪诸县。上嘉之芳剿贼邻省有功，加兵尚书衔。

十六年，遣参将蒋懋勋等败贼玉山椒岩，山降。先是文生、凤皆乞降，而凤病死，其妻王玉贞籍所属六万八千馀人就抚，而忠将林尔瞻犹拥众石垅。之芳令懋勋等扼要隘，自以数十骑寨，往抚之，尔瞻乃降。十七年，击贼午，克八仙、老鼠诸，贼寨悉平。郑锦寇濒海，遣将严守御，败之于庙岭湖，又败之于温州。锦将詹天枢诣世凯降。十八年，檄定海总兵牟大寅斩锦将童耀等孝顺洋，夺获船只、械以还。

之芳练世故，沉几善谋。康亲王师将行，问之芳：“所策固万全乎？”之芳曰：“军已发，犹豫则士气沮。”乃诣王曰：“虏在吾目中久，明日捷书至矣！”前军捷书果至，杰书大喜，以为神。在杭州，与将军图喇约为兄弟。忠既叛，语图喇勿纵兵暴民。有满兵犯法，之芳缚诣图喇，以军法治之，一军肃然。浙平，疏请蠲被兵州县额赋，安辑亡，甚有威惠。所偏裨，皆累功至方镇，而之芳以督臣不叙。久之，追论大溪滩破贼功，授拖沙喇哈番，准袭一次。

为兵尚书，调吏。二十六年，授文华殿大学士。二十七年，御史郭琇疏劾大学士明珠，谓内阁票拟，皆听明珠指挥，上既罢明珠，并命之芳休致。三十三年，卒于家，谥文襄。