将军李广利损失了五万人的军队，消耗了亿万的费用，经过了四年的劳碌，仅获得骏三十匹。虽然他斩了宛王的首级，却贪婪不惜士兵，罪恶很多。武帝因为万里征伐，不记录他的罪过，终于封广利为海西侯，封地八千。再说校尉陈汤假传诏令兵，虽然杀了郅支单于，然而汤一向贪婪，所收康居财，事多违法，被司隶拘囚。汤就上疏说‘：与官兵一起杀郅支，幸亏擒灭了他们。现在司隶却拘囚立案查验，是为郅支报仇啊。’元帝赦免了他的罪，封汤为关内侯，赐黄金一百斤。还有晋朝龙骧将军王浚有平定吴国的功劳，而王浑等议论浚违诏，不受节制调度，军人获得孙鰑的宝，一起焚烧了孙鰑的室船只。浚上表奏说‘：今年平定吴国，确实是大庆，对于臣自，更是罪过。’武帝赦免而不追究他，拜他为辅国大将军，封襄侯，赐绢万匹。以近来说，隋朝新义郡公韩擒虎平定陈地的那天，纵容士卒在叔宝内行凶捣，文帝也不问罪，虽然不给他晋爵，但还是拜擒虎为上国，赐八千段。由这看来，将帅这样的臣，廉洁谨慎的少，贪婪谋求财的多。因此黄石公《军势》说：‘用智，用勇，用贪，用愚。因此智慧的人乐于建立自己的功绩，勇敢的人喜好实行自己的志向，贪婪的人求取趋向自己的利益，愚蠢的人不计较自己的生死。’从这可以知前代圣人没有不取人之长，弃人之短的，的确是因为这个。

“我又听说天地之，把天覆地载庇养包容放在首位；帝王的德，以包容宽宏为。区区汉武帝及历代的各个帝王，尚且能饶恕李广利等，何况陛下天赋神明而威武，挥动宏图而定天地四方，难惟独端正这刑律纲常，不遵行古人的事例吗？俯伏思维圣上的心意，应当自己有所斟酌。臣现在所以陈述见闻，并不敢偏君集等，希望用萤火蜡炬般微弱的光，增添日月的光辉。假若陛下降雨一般的恩泽，收起雷电般的威风，记载他们微小的功劳，忘却他们大的罪过，让君集重新升朝廷的位次，再让他尽力效命，虽然不是清廉贞洁的臣，也还是贪婪愚鲁的将领。这样一来，那么陛下的圣德即使摧折了刑法，仁德却更加明显，君集的错误过失，即使蒙受宽恕，过失却更加显著。足以让立功之士，因此而都受到鼓励，负罪之将，由此而改变节了。”

分条陈奏，于是朝廷释放君集。

君集自认为对平定西域有功，却因为贪图财利被囚禁，心里很不服气。贞观十七年(643)，张亮凭借太詹事的份任洛州都督，君集激怒张亮说：“为什么被排挤？”张亮说：“是您被排挤，还想冤枉谁！”君集说：“我平定一国以来，只能在屋里左右发怒了，又怎能望受到排挤！”因此揎袖捋臂说“：忧闷活不下去了，你能造反吗？我就与你一起造反。”张亮将这话告密，太宗对张亮说：“你与君集都是功臣，君集单独把这话告诉你，没有别的人听见，如果把这事给主官吏理，君集必定说没有这事。两人相互对证，事情不能明白。”于是止息了这件事，对待君集像当初一样。不久君集与众功臣一同被朝廷把肖像画在凌烟阁上。

当时庶人承乾在东，恐怕朝廷会废置太，又得知君集心怀不满，于是与他共同密谋。君集的女婿贺男楚石当时任东千，承乾命令他数次引君集东，向他求教安稳自己地位的方法。君集认为承乾差劣弱，心想乘隙借他图谋大业，于是赞成承乾图谋不轨，曾举着手对承乾说：“这好手，应当为你效劳。”君集有时担心谋，自己心中不能安定，常常半夜突然颠仆而起，叹息悲痛很久。他的妻到奇怪就对他说“：你，是国家大臣，为什么这样？必定有缘故。如果有不好的事，辜负国家，应当自己自首罪行，颈尚可保全。”君集没能采用妻的话。