攻破，驼粮草被抢劫一空。奏报到京，雍正帝很是不快。他翻岳钟琪关于新疆战况和作战方案的奏折披阅，越看越恼，提起朱笔批谕：“岳钟琪所奏，朕详加披阅，竟无一可采。岳钟琪以轻言长驱直说，又为贼夷盗驼，既耻且愤。”并下旨将纪成斌斩首示军，张元佐降职留用。

当北路清军与噶尔丹策零激战于和通呼尔哈诺尔的时候，岳钟琪施以“围魏救赵”之计，率西路主力迅速越穆垒过阿察，兵抵额尔穆克河，分三路向乌鲁木齐城下攻，目的是分散噶尔丹策零主力，减轻北路清军的重压。沿途将士用命，奋勇作战，攻取敌寨多，歼敌甚众。当大军攻乌鲁木齐时，守城叛军闻风逃遁，西路清军占领新疆首府。雍正帝下谕表扬岳钟琪“此次领兵袭击贼众，退迟速，俱合时宜。”

雍正十年（1732年）十月，噶尔丹策零七千人偷袭哈密。岳钟琪遣总兵曹让等将士在二堡击敌，又派副将军石云倬等将官赶赴南山、梯泉一带设伏，断敌退路。准噶尔七千人攻打哈密时专事焚烧粮草，抢夺驼辎重，虽被曹让击退，但也造成重大损失。

派往断敌退路的石云倬竟迟一日发兵，当该到达指定位置时，准噶尔军已离开设伏地，准噶尔军休息时的火灰烬还有余。但石云倬没有挥师追击，致使叛军劫持大量资安然撤退。雍正帝降旨，治石云倬、曹让斩首示军。严责岳钟琪“攻敌不速，用人不当”

岳钟琪接连受雍正帝的严责，显然已经失。军机大臣、内阁大学士鄂尔泰乘机奏本，极力弹劾岳钟琪。雍正批准了鄂尔泰的弹劾，下谕“议决”结果削去了岳钟琪三等公爵和太太保封衔，降为三等侯，仍护大将军印。

时隔不久，雍正帝又下旨诏岳钟琪离疆返京“商办军务”，由副将军张广泗护宁远大将军印。十月，岳钟琪怀着忐忑不安的心情，一路风尘赶到京城，张广泗弹劾他的奏折也随之到了雍正帝的龙案。在张广泗和鄂尔泰合力弹劾下，当月雍正就下诏将岳钟琪“兵拘禁候议”岳钟琪被捕狱以后，在等候兵的判决，一直等了整整两年，

雍正十二年（1734年）十月兵的判决才下来，判决居然是“斩决”雍正帝接到兵议奏折，左右权衡，最后，念及其当年西藏、平青海之功，改“斩决”为“斩监侯”，并罚银七十万两。

乾隆二年（1737年），岳钟琪和傅尔丹同被释放，贬为庶人，回成都。岳钟琪在成都郊外百潭浣溪畔结庐居住。他取名“姜园”

平日里，他一布衣木履，茶淡饭；清晨早起，在闲亭中打几路拳脚，舞几刀剑，然后牵着他心的战，沿着浣溪畔溜达；茶余饭后，喂一喂鸭家禽，或者走姜园，漫步于乡间田埂，或聚集老农于树下闲话桑麻。晚来掌灯，他这才伏于几案，或挥毫写田园诗；或秉烛夜读《楞严佛经》。

岳钟琪对佛家教义也渐渐青睐，常常寺拜佛听法。一天岳钟琪回到金堂县老家，在城南十五里的龙尾寺拜佛，盘桓晚了，便留宿寺中，于是写下了《夜宿龙尾寺》。

乾隆十三年（1748年）三月，由于大金川叛而清廷兵多时未果，乾隆帝想到岳钟琪，决意重召，先授予他总兵之衔，后改授四川提督，赐孔雀翎，其时岳钟琪已届六十二岁，久违官场十年有多了。

岳钟琪来到金川军营，张广泗即命岳钟琪领四路官兵，驻扎党坝。岳钟琪抵达前沿军营，登上山梁观察地形，只见这党坝三面环敌，而敌寨明碉暗堡，所据地势十分险要，碉寨之间又成犄角之势，相互照应，可攻，退可守。而党坝清营，简直就是叛军桌上的烤。