荣占据洛，授俨京畿南面都督。永安中，西荆州城遭梁将曹义宗包围，俨应朝廷招募赶赴援助。此时，北育太守宋带剑谋反，俨便勒兵其不意地直城下，大声叫：“大军来了，太守为什么不城相迎？”带剑惊慌失措，不知怎么办，就城迎接，俨上将他抓捕，此郡就这样被安定下来了。俨又大败梁将元达、蔡天起、柳白嘉等，累立战功。除弩将军。与梁将王玄真、董当门等战，获胜，解除了穰城的包围，克复南、新乡。转任积将军、持节、豫州防城大都督。

尔朱氏败，俨和豫州刺史李恩一投奔祖。因勋累迁安东将军、梁太守，转五城太守、东雍州刺史。沙苑之败，西魏荆州刺史郭鸾统众攻俨，俨抵抗二百多天，昼夜力战，大败鸾军，乘胜追击，又砍下了敌军三百多个首级，并活捉了西魏刺史郭他。这时很多州郡都有反叛事发生，只有俨未遭此难。号镇南将军。武定三年(545)，率师解除襄州敌军的包围。俨多次使蠕蠕。俨又从大军攻玉，赐帛七百匹以及衣帽等。五年，镇守河桥五城。侯景叛，俨击打陈郡贼，掳获侯景将厍狄曷赖以及伪署太守郑合、兖州刺史王彦夏、行台狄畅等，斩首百余级。随即驻扎项城，又活捉侯景伪署的刺史辛光以及蔡遵和下二千多人。六年，除谯州刺史，屡立军功，降附极多。七年，又除胶州刺史。

天保初，拜俨开府仪同三司。六年(555)，梁司徒陆法和、仪同宋。。等率其众拥郢州城内附。此时清河王岳统兵屯驻江边，他集合诸将商议说：“郢州城在江外边，这里民风刚直，必须要有才略俱备、忠勇过人之士，才可治理此郡。”众人齐推慕容俨。岳认为人选合适，便命令俨镇守郢城。刚刚城，即被梁大都督侯王真、任约带领的陆军包围。俨迅速组织防御，王真等无可奈何。王真便组织力量，在上游鹦鹉洲之地造荻洪数里，用来堵船路。这时消息中断，城池孤悬，人情危惧，俨则以忠义引导，使人心很快安定下来。郢城中早先就有一座神祠，俗称“城隍神”，公私常来祠中祈祷。俨也顺从士卒的心思，让他们分批祠祈请，希望能得神灵的庇佑。不一会儿，狂风突起，惊涛拍岸，漂断荻洪。任约则再用铁锁连结，防止荻洪被风卷走。俨等人还亲神祠祈请，此时风更大狼更，荻洪再次被冲断，这样反复了多次。城内兵民大喜，认为这是神灵的救助。侯王真移军，扎营城北，造栅置营，焚烧坊郭，郢城的产业一下遭到严重毁坏。任约带领万余士卒，士卒每人持有一攻城工，在城南扎下营盘，形成了南北夹击之势。俨便统领步骑城搏击，很快打破了敌人的营垒，还俘虏了五百多人。由于郢城地势低下，加之土疏和风雨侵蚀，城墙多有损坏，俨认真给以修整，并作了很多大楼。俨又建造船舰，使陆俱备。萧循又领众五万，与侯王真、任约军汇合，在夜幕掩护下发起攻。俨与将士猛力抗击，一直持到天亮，任约等才退兵。俨大开城门追击，砍掉了侯王真骁将张白石的脑袋，王真要求用千金换回白石的首级，俨不许。夏五月，王真、约等又重新署，以最大的力量围城。城中减少，而且粮运阻隔，人们为了生存，只得烧煮槐楮、桑叶和纟宁、萍、葛、艾等草以及靴、带、角力角等充饥。有了死人，就上从尸上割下来，用火一烤，便吞下肚去，吃得只剩下了骨。俨依然动员将士，有奖有罚，共甘同苦，视死如归。从正月开始一直到六月，人们没有丝毫的异心。

后萧方智立为梁帝，遣使向东魏求和。显祖觉得郢城位居江边，防守不太方便，便下诏将城归还梁朝。俨抬看着文宣帝，极其悲哀。帝喊他走近来，拉着手，抚着俨的须鬓，又脱下他的帽察看，叹息了好一会儿。对俨说：“观看你的容貌，我好像还不敢相认，古往今来的忠臣烈士，哪有超过你的！”俨回答说：“我依仗陛下的威灵，才算伸张了我的气节，不屈不挠的小，今日有幸再睹陛下的容颜。即使傍晚死了，也没有什么遗憾的了。”帝又叹了半天。授赵州刺史，晋爵为公，赏赐帛一千匹，钱十万。

九年，又因讨贼有功，赐帛一百匹、钱十万。十年，诏令拜俨扬州行台，与王贵显、侯监领兵护送萧庄回梁。筑造郭默、若邪二城。同陈朝的新蔡太守鲁悉达在大蛇战，获胜，并赶跑了鲁悉达。又监视萧庄、王琳的军队，与陈朝大将侯王真、侯安都在芜湖接战，败，返归。皇建初年，别封成郡公。天统二年(566)，拜特。四年十月，又别封猗氏县公，并赏赐金酒锺、银酒锺各一只，胡一匹。五年四月，晋爵为义安王。武平元年(570)，任光州刺史。俨年轻时讲义气，多与轻薄之徒来往，还喜好在京洛之间游。到跟随大将征战后，常常立下战功，策划理虽然不是他的长，但却有将帅的气节。他过太守、刺史，即便不能清白守，却不贪婪残暴。卒，赠司徒、尚书令。

史臣曰：祖霸业奠基之初，招集天下英勇之士。张琼等人虽说不是有先知觉悟之人，而时运来到，他们也就驰驱于疆场，报效于军旅，无日休歇，无时偷闲，义在御敌，共襄宏图，成就功业，克敌制胜，有值得称颂之。慕容绍宗的兵机武略，当年就受人推重。过去追随氽朱兆时，一腔忠义，苦心谋划。不用范增早作安排的计策，终于导致乌江覆亡的结果。侯景公然叛，他原就不可能作少主之臣；祖留下用慕容绍宗抵挡的遗言，表现祖的知人之明。寒山、涡之战，他临阵摧陷，有摧枯拉朽之势，可惜命运不好，遭逢灾祸，着实令人痛心啊!