兴驻扎娄门，华云龙驻扎胥门，汤和驻扎阊门，王弼驻扎盘门，张温驻扎西门，康茂才驻扎北门，耿炳文驻扎城东北，仇成军驻扎城西南，何文辉驻扎城西北，筑成长墙围困城中之敌。架木塔与城中佛塔同，另外筑台三层，俯视城中，装置弩弓、火筒。台上又装置大炮，大炮所击之都被炸成粉碎，城中为此大震。徐达派人向朱元璋请示，朱元璋下诏劳他说：“将军谋勇绝，故能遏制各地兵，削弱群雄。今日你事必禀明受命，这表明了将军的忠诚，对此我非常赞许。不过将领在外带兵打仗，君主不加涉。军中缓急，将军可据情况，选择有利时机采取行动，我不宜控制。”不久，徐达攻取平江，捉拿张士诚，押送应天，俘获兵二十五万。在平江城即将被攻克时，徐达与常遇相约说：“军队城，我军扎营城左，你军扎营城右。”又命令将士：“抢劫百姓财者死，毁坏百姓房屋者死，擅自离营二十里者死。”城之后，吴人安然如故。还师之后，徐达被封为信国公。

不久徐达又拜为征虏大将军，以常遇为副将军，率步骑二十五万，北取中原，朱元璋亲自在龙江为这次征讨举行祭神仪式。当时能称作名将的人，首推徐达、常遇。两人才勇相当，都为朱元璋所倚重。常遇剽悍、急躁，作战勇敢，而徐达擅长谋略。常遇攻下城邑后不能到毫无杀戮，而徐达所到之，从不扰百姓，如果俘获壮士与间谍，便与他们以恩义结，使他们为己所用。因为这样，许多人都乐意归附大将军。因此，朱元璋传谕诸将：指挥军队必须持重有纪律；而带兵作战，攻城略地，为将之，徐达堪为楷模。又告诉徐达，取方略，应当从山东开始。徐达率军而行，攻克沂州，招降守将王宣。一步攻克峄州，王宣重新反叛，徐达便将他击杀。攻下莒、密、海诸州，然后派韩政分兵扼守黄河。张兴祖攻取东平、济宁，而自己率大军攻取益都，攻下淮、胶等州县。济南投降，徐达分兵攻取登、莱，齐地全平定。

洪武元年(1368)，朱元璋即皇帝位，以徐达为右丞相，册立皇太，以徐达兼太少傅。副将军常遇攻克东昌，会师济南，击斩乐安反叛者。然后徐达还军济宁，引师溯黄河而上，直趋汴梁，守将李克彝逃走，左君弼、竹贞等投降。于是从虎牢关洛，与元将脱因帖木儿大战于洛之北，元将兵败逃走。梁王阿鲁温以河南投降，徐达率军平定嵩、陕、陈、汝等州，然后直捣潼关。李思齐逃往凤翔，张思逃往鹿阝城，徐达率军关，西到华州。

捷报传来后，太祖巡幸汴梁，召徐达到其住所，摆酒设宴劳，并与他商议北伐之事。徐达说：“我大军平定齐鲁，扫平河洛，王保保徘徊观望；潼关已克，李思齐之辈狼狈西逃。元朝声援已绝，现在我们乘势直捣元都，便可以不战而取。”太祖听后赞“：你说得对。”徐达一步说“：元都攻克后，如果其主向北逃走，我军要不要继续追击呢？”太祖说：“元朝国运已衰，即将自行灭亡，不必烦劳军队去追击了。你们之后，固守封疆，防止他们侵袭便可以了。”徐达顿首领命。于是与副将军常遇会师河，派遣副将分巡行河北之地，连下卫辉、彰德、广平。军队临时驻扎临清，派傅友德开辟陆路使步骑通过，派顾时疏通河使师通行，然后引兵向北。常遇已克德州，与徐达合兵攻取长芦，扼直沽，搭浮桥让军队过河。陆并，在河西务大败元军，一步攻克通州。元顺帝携后妃、太向北逃走。一天后，徐达陈兵齐化门，填濠登城。监国淮王帖木儿不、左丞相庆童、平章迭儿必失、朴赛因不、右丞张康伯、御史中丞满川等拒不投降，徐达便将他们斩首，除此之外，没杀一人。然后命人封闭府库，登记书籍、宝，并命指挥张胜带领一千士兵看守殿门，让宦官看护那些人、嫔妃、公主，严禁士兵侵扰欺凌她们。城中官民安居乐业，店铺照常营业。

捷报传来，太祖下诏以元都为北平府，设置六卫，命孙兴祖等留守，而命徐达与常遇取山西。常遇先下保定、中山、真定，冯胜、汤和攻下怀庆，越过太行，攻取泽、潞，徐达率大军随后跟。当时扩廓帖木儿正引兵雁门，将由居庸攻北平。徐达知后，与诸将商议“：扩廓率军远行，太原必定空虚。北平有孙都督在，足以御敌。现在我们乘敌不备，直捣太原，使其不能战，退无所守，这就是攻击敌人的要害和虚弱之。如果扩廓西还自救，我们就能将他擒获。”诸将听后都说“：说得对啊。”于是，徐达引兵直趋太原，扩廓到保安，果然返回援救。徐达挑选兵夜袭其营，扩廓率十八名骑兵逃跑。徐达尽降其众，攻克太原。又乘势收取大同，分兵巡行还未攻下的州县，山西全平定。

二年(1369)，徐达引兵向西渡河，到达鹿台，张思逃走，于是攻克奉元。当时常遇攻下凤翔，李思齐逃至临洮，徐达会集诸将商议军队的攻方向，诸将都说“：张思的才能不如李思齐，而庆又比临洮易攻，请求先攻庆。”而徐达则说“：你们说得不对，庆城险而兵，如果突然攻，不容易攻取。而临洮北接河、湟，西控羌、戎，获得此城，其人便可利用来增战斗力，产也足以提供军队的资粮饷。如果以大军，李思齐不弃城逃走，他就是束手待擒了。临洮攻克后，邻郡还能存在么？”于是率军渡陇，攻克秦州，攻下伏羌、宁远，巩昌，派右副将军冯胜临洮，李思齐果然不战而降。然后分兵攻克兰州，击走豫王，全缴获其队辎重行李。回军萧关，攻下平凉，张思逃往宁夏，被扩廓所捉，其弟张良臣以庆投降，徐达派薛显受降。张良臣重新反叛，趁夜兵袭击，打伤薛显。徐达督军包围张良臣叛军，扩廓遣将前来援救，徐达率军迎击，将其打败逃走，于是攻取庆，张良臣父投井中，便将其拉斩首，陕西之地全平定。太祖下诏，徐达班师回朝，赏赐丰厚的白金和丝绸。