不敢回答。祖征说：“你的文章比起他们来或许略为逊，但学识应该超过他们，而且在参与国家大事、为国建功立业方面，他们都比不上你啊。” 外兄杜幼文为梁州刺史，要韦叡和他同去。梁州当时十分富饶，到那里官的人多因为贪财而被免职，而韦叡虽年纪很小，却以清廉闻名。

宋永光初年，袁韵任雍州刺史，一见到韦睿就觉得他非同寻常，引为主簿。袁颛到雍州后，与邓琬起兵反叛朝廷，韦睿事先请求到义成郡任职，因而免遭袁韵之祸。之后担任晋平王左常侍，迁司空桂王行参军，跟随齐司空柳世隆防守郢城，抵抗荆州刺史沈攸之的攻。攸之之被平定之后，迁前军中兵参军。很久以后，任广德县令。累迁齐兴太守、本州别驾、长校尉、右军将军。齐末年时局动，韦睿不想远离家乡，请求担任上庸太守，加建威将军。不久太尉陈颢达、护军将军崔慧景反叛朝廷，频频京师建康，人人惊惶害怕，不知所措。蜀地人士向韦散询问时局问题，韦数说：“陈显达虽然是一员老将，但不是治世之才；崔慧景颇懂些事理，但怯懦而缺少勇武之气，他们该是落个减族的下场。平定天下的人，大概会产生于我们州裹。”于是，就派遣他的两个儿主动前去结祖。

祖起兵的檄书传来，韦散率领郡兵砍伐竹成竹筏，日夜兼程赶来参加，共带来二千多人，骏二百匹。祖见到前来投奔的韦散非常兴，拍着几案说：“以前我见到你的人，今天见到的却是你的真心，我的大事一定会成功了。”义军攻克郢、鲁，平定加湖，韦观提很多计策，都被祖采用。东征大军将从郢城发，商议留守郢城的将领人选时，祖觉得很难确定。很久以后才回对韦散说：“放弃良而不乘。匆匆忙忙地再到哪裹去寻找呢？”当日就任命他为冠军将军、江夏太守，行郢府事。，当初，郢城据险守之时，有士人百姓男女近十万人，关闭城门将近一年，城内瘟疫行，每十个人中就有七八个染病死去，尸都堆积在床底下，而活人睡在床上，家家都这样堆满了尸。韦敷亲自清察看，安抚还活着的人。都为之经营料理，这样死者才得以收埋，生者能返乡安居乐业，因此百姓都依赖于他。

梁朝建立后，韦饭被征为大理。祖即位后，迁为廷尉，分封为都梁，邑三百。天监二年，改封永昌，邑如先。太立。迁太右卫率，为辅国将军、豫州刺史、领历太守。三年，北魏军队犯边疆，韦散率领州兵击退敌兵。

天监四年，王师北伐，诏令韦散统率众军。韦觳派遣长史王超宗、梁郡太守冯攻北魏的小岘城，未能攻克。韦散正在巡枧阵地时，魏城中忽然冲数百敌兵，在城门外摆开阵势，韦壑想要攻击他们，诸位将领都说：“我们本是轻装而来，没有很好地备战，还是先回去给士兵发授甲衣，然后才可以攻。”韦散说：“不对。魏城中有守敌二千多人，如果闭门守，足以自我保全，现在无缘无故冲城外，必定是他们的兵勇士，如果能挫败他们，敌城就会不攻白破。”众将领仍然迟疑不从，韦数指着符节说：“朝廷授我此，不是用来装饰的，我韦的军令是不得违抗的。”于是兵攻击。将士都殊死决战，苏军果然败逃，因此便对小岘城发起猛烈攻击，到半夜就攻占了小岘城。接着，又军讨伐合胆。原先，右军司超略等攻打合，久攻不下，韦壑巡视了当地的山川地势。说：“我听说‘可用来浇芒，迷可以用来浇安垦’。造裹的地形就是这样。”于是决定修堰阻拦旦眯，亲属表率，很快，堰坝筑成，路连通，舟船相继而至。北魏当初修筑了束、西小城用以夹护金胆，童壑先攻下这两座小城。不久北魏援兵的将领杨灵胤率领五万军队忽然到达，众人害怕不敌魏军，请求上表朝廷增派援兵。韦数笑着说：“敌军已至城下，方才请求增兵，就像临到急难之时，才去铸造武，哪裹还来得及呢？况且我请求增兵，对方也增兵，就像吴国加了丘。蜀国加白帝一样。‘用兵之法贵在奇制胜，而不在人数众多’，这是自古以来的理。”于是跟杨灵胤战，打败了他，使军心稍为安定。