固安庆城。

在此之前，朱元璋所任用的将帅中功劳最大的，要数平章邵荣、右丞徐达与常遇三人。而邵荣尤其是一位善战、有经验的老将，这时他已非常骄横，并有异心，与参政赵继祖图谋设伏兵发动兵变。事情败之后，朱元璋想赦免邵荣的死罪，常遇秉直说：“为人之臣有了谋反的罪名，还有什么可以原谅的呢？我决不与其共生。”朱元璋于是赐邵荣喝酒，着泪将其死，因为这件事，朱元璋更加偏倚重常遇。

池州守将罗友贤占据神山寨，私通张士诚，常遇将其打败并斩首。又跟随朱元璋援救安丰，等到常遇率军到达时，吕珍已经攻陷安丰，杀死刘福通，听说大军到来，便率兵扼守，朱元璋左右军都攻失败，常遇横击敌阵，三战三捷，俘获士兵、匹无数。然后跟随徐达围攻庐州。城将攻破时，陈友谅围攻洪都，常遇应召返回。会师伐汉，与汉军在彭蠡的康郎山遭遇，汉军船大，又于上，前锋非常大。常遇协同诸将投大战，呼声震天动地，无不以一当百。陈友谅的骁将张定边直冲朱元璋的指挥船，船已搁浅，朱元璋境非常危险。常遇中张定边，朱元璋的船才得以脱险，而常遇的船却又搁浅。这时，有一只坏船顺而下，碰撞常遇的船只，这才得以离开浅滩。转战三日，放火烧毁汉军船只，湖因此变成了红，陈友谅不敢再战。诸将认为汉军兵力仍然较，想放他们离开，唯独常遇不说话。等到船湖时，诸将正要放船东下，朱元璋却命令扼住上游。常遇便溯江而上，诸将跟随其后。陈友谅走投无路，率百船突围。诸将半路拦截敌军，汉军于是分崩瓦解，陈友谅死。还师之后，常遇功劳最大，朱元璋赏赐给他很多黄金、布帛、田地。攻武昌时，朱元璋返回应天，命常遇留下督军围困武昌。

第二年，朱元璋即吴王位，晋升常遇为平章政事。朱元璋又派兵攻武昌，汉丞相张必先自岳来援，常遇乘其还未会合，迅速攻，将张必先擒获。城中士气尽失，陈理投降，常遇尽取荆、湖之地。然后随左相国徐达攻取庐州，另外率军平定临江的沙坑、麻岭、陂等寨，擒获伪知州邓克明，攻下吉安。围攻赣州，熊天瑞固守不下。朱元璋派使者告诫常遇：“攻克此城时，不要多杀人。如果获得了地盘，却没有老百姓，那又有什么好呢？”于是常遇疏通壕沟，设立栅栏，围攻赣州，屯兵六个月，熊天瑞兵力耗尽，于是投降，常遇果然不杀他。朱元璋大为兴，赐信褒奖勉励。常遇于是凭借军威招降了南雄、韶州，回军时又平定安陆、襄。又随徐达攻克泰州，打败张士诚的援兵，督促军在海安坝建造围墙阻拦敌军。

同年秋天，常遇被授为副将军，率军伐吴。在太湖、毗山、三里桥打败吴军，湖州。张士诚派兵来援，驻扎旧馆，现在常遇大军之后。常遇率奇兵由大全港扎营东阡，更于张士诚援兵之后。敌人派兵击，常遇率军奋力攻击，将敌兵打败。在平望袭击其右丞徐义，将其赤龙船全烧毁，又败之于乌镇，向北追击至升山，攻破其陆寨，将旧馆援兵全俘获，湖州遂被攻下。而围攻平江，驻军虎丘。张士诚偷偷率军靠近常遇，常遇与其战于北濠，将其打败，几乎俘获张士诚。时间一久，诸将攻破葑门，常遇也攻破阊门平江，吴地平定。常遇晋升为中书平章军国重事，封为鄂国公。

常遇又被授为副将军，与大将军徐达一起率兵北征。皇帝亲自嘱咐他：“面对百万之众，击溃敌人锐队，攻陷敌人的固阵地，无人能比得上副将军。我不担心你不能打胜，而担心你轻战。你为大将，好与兵卒角斗，这尤其不是我所期望的。”常遇跪下拜谢。发之后，以常遇兼太少保，随攻山东诸郡后，又攻取汴梁，取河南。元兵五万军队陈兵洛之北，常遇单骑冲向敌阵，敌人二十多名骑兵手持长矛一齐刺向常遇，而常遇一箭将其前锋死，大叫一声冲敌阵，麾下壮士也跟随他向前冲去。敌兵大溃，常遇追奔五十余里。降服梁王阿鲁温，河南郡县依次被攻下。常遇到汴梁谒见皇帝后，与大将军徐达一起攻下河北诸郡。先锋攻取德州后，常遇率师沿黄河而，破元兵于河西务，攻克通州，于是元都。另外攻下保定、河间、真定。

常遇与大将军徐达一起攻太原，扩廓帖木儿前来救援。常遇对徐达说“：我军骑兵虽然已经聚集，但步兵还未赶到，突然与敌人发生战斗，一定会死伤很多，只有趁夜攻打才能获胜。”徐达说“：你说得对。”这时正好扩廓的将豁鼻前来约定投降之事，便暂且请他作为内应，挑选锐骑兵木片，悄悄发去袭击敌人。扩廓当时正着蜡烛学习军书，仓促之间不知所措，赤着一只脚，骑上一匹瘦弱的，率领十八名骑兵逃往大同。豁鼻投降，常遇获得四万披甲之士，攻克太原。常遇追击扩廓到忻州之后才返回。朱元璋下诏改常遇为左副将军，位居右副将军冯胜之上。然后向北攻取大同，转而巡行河东，攻下奉元路，与冯胜军会合，向西攻占凤翔。

恰遇元将也速攻通州，朱元璋下诏常遇回军守备，让平章李文忠帮助他，率步骑九万，从北平发，取会州，败敌将江文清于锦州，败也速于全宁。一步攻大兴州，将一千名骑兵分别埋伏八。当大兴州守将趁夜逃跑时，常遇将他们全擒获，于是攻克开平。元帝向北逃走，常遇追奔数百里，俘获其宗王庆生及平章鼎住等将士万人，车万辆，三千匹，五万，以及敌人女、宝货等。常遇率军返回，临时驻扎在柳河川时，暴病而死，年仅四十岁。朱元璋知后，大惊，十分悲痛。在龙江举行葬礼，太祖亲自奠，并命礼官就天为大臣主持葬礼之事行商议，商议结果上报太祖，沿用宋太祖追悼韩王赵普的先例。太祖下诏说“：可以。”赐葬于钟山平地，赐给金银九十件随葬墓中。赠封常遇为翊运推诚宣德靖远功臣、开府仪同三司、上国、太保、中书右丞相，追封开平王，谥号忠武。常遇享太庙，肖像功臣庙，都位列第二。