郎行参军，接着署理法曹外兵参军，兼任且屋诏狱正。梁亘皇童在京城西边设置士林馆，虞荔便写作碑文，呈上朝廷，梁武帝命令将碑文刻石陈列于馆中。便任用虞荔士林学士。接着任用为司文郎，升任通直散骑侍郎，兼任中书舍人。当时梁武帝左右任职的官员，多参与权力中枢，朝廷内外的军政大事，互相间错兼，惟有虞荔和顾协宁静淡泊恭谨地退避，居住在中西边的官署裹，祇以通晓文史为人所知，当时号称清白。接着领大著作的职务。

到侯景叛时，虞荔率领亲属台城，任命为镇西谘议参军，舍人的职务依旧担任。台城失陷后，逃回故乡。侯景被平定，元帝征召他为中书侍郎，贞侯任命他为扬州别驾，虞荔都没有就任。

张彪占据会稽，虞荔当时在那裹。到文帝平定张彪后，祖给虞荔写信说：“死丧战以来，德才兼备的明智之士凋零离散，您有杰的才能，名声著称许、洛，现在朝廷更新，广泛搜求才智众之士，难可以居留在束边的故乡，保持个人的节？现在您哥哥的儿奉命接您离开故乡前往都城，想必是不负朝廷谦虚的希望呀。”文帝又给他写信说：“你在东南一带有好的名望，声誉广为人知，自然应当飞京许，共同安治时弊，而隐居乡里家园，保持这独善其，难能和空谷一般切的愿望相称吗？真诚希望你立即整理行装，还是离开故乡前往都城的计划。但愿披心相见，在于那一天。”情势迫切之下虞荔不得已，就服从命令来到都城。祖崩，文帝继承帝位，任命虞荔为太中庶，跟随侍候太读书。接着领大著作、束扬扬州两个州大中正的职务，庶一职依旧担任。

当初，虞荔的母亲随虞荔台城，死于台城中，接着台城失陷，哀情丧礼无法表示，虞荔因此终吃素穿布衣，不听音乐，虽所任职务待遇贵盛，而生活节俭朴素，宁静淡泊无所追求。文帝十分重他，时常带领在自己边，早晚顾问。虞荔格沉谨慎，少说话，凡是静言谏献上可行的意见除去不可行的法，逭方面没有谁能比得上他，所以虞荔的位置不会列在别人之后。

那时虞荔的第二个弟弟虞寄居住在闽中，依附陈实应，虞荔每次谈到他就泪。文帝哀怜而对他说：“我也有弟弟在远方，这思念的心情十分迫切，他人哪裹知。”于是下发诏令给陈宝应索要虞寄，陈宝应最终不肯遣送。虞荔因此而伤生病，文帝几次亲往看望。命令虞荔将家中人搬署居住，虞荔以中不是私家居住的所，请求留居城外，文帝不许可，便命令他家住在兰台，文帝乘舆再三亲临问，亲自写诏书派往探视的中使者，在路上彼此都能看到。又因为虞荔吃素太久，不能承受疲病的折磨，文帝于是下诏令说：“能淳朴地穿布衣吃素，便是尚的节，你年纪已经老了，生气活力稍有减退，正要依仗托付，十分需要能够健壮起来，现在给你鱼，不准持所遵守的布衣素的法。”虞荔最终不听从。天嘉二年去世，时年五十九岁。文帝十分哀伤惋惜，赠给他侍中的官衔，谧号叫德。到他的丧柩送还故乡时，帝亲自来送行，当时人认为很荣耀。儿虞世基、虞世南，都在年少就有名于时为人所知。

虞寄字次安，年少就聪明睿。年纪几岁时，有客人来探访他的父亲，在门遇上虞寄，于是嘲他说：“郎君姓虞，一定是没有智慧。”卢宣应声回答说：“文字不能辨认，难不愚蠢？”客人非常惭愧。门对他父亲说：“这个孩不是平常人，孑乙文举一样的对答不是过失呀。”

到成年时，好学习，很会写文章。格淡泊宁静，有隐居遁世的志向。二十岁时被荐举为秀才，考试对答中取得优秀成绩。以担任梁朝宣城王国左常侍起家。大同年中，曾经在下暴雨时，殿前往往有五彩相杂的实珠，梁武帝看见十分喜悦，虞寄因此呈上《瑞雨颂》。梁武帝对虞寄的哥哥虞荔说：“这篇颂文雅脱俗，是你家的陆士龙呀。应如何提任用？”虞寄听到这样说，叹：“赞扬盛之事的形象，以表示歌颂盛世太平之情啊。我难是以文买名求得仕的人吗？”于是闭门不声称有病，衹以读书自娱。岳王担任会稽太守时，任用虞寄为行参军，升任记室参军，领郡五官掾。又转任中记室，掾的职务依旧担任。在职守之中无论事务简略还是烦琐，一定保全原则，官署裹面，整天安静。

侯景叛的时候，虞寄随哥哥虞荔台城，任命为镇南湘束王谘议参军，加官贞威将军。京城失陷后，逃回故乡。在张彪前往临川时，迫虞寄同行，虞寄和张彪的将郑璋同坐一条船，郑璋曾经忤逆过张彪的心意，于是劫持虞寄逃奔到晋安。当时陈宝应占据了闽中，得到虞寄非常兴。祖平定侯景，虞寄劝使陈宝应主动结，陈宝应听从他的意见，便派使者去表示归顺。承圣元年，任命虞寄为和戎将军、中书侍郎，陈实应喜他的才能，以沿途路不安定为托辞不予遣送。常要任用虞寄为所属官吏，委托他掌信札公文，虞寄决推辞，得以免除。

到陈宾应舆留异结亲，暗中有背叛的谋划时，虞寄伺察到他的意思，谈话的时候，常陈述叛逆归顺的理，隐微地婉言规劝，陈宝应就引开说其他事以拒绝虞寄的规劝。陈宝应又曾经命令边的人诵读《汉书》，躺着听，读到蒯通劝垄信造反时说“相君之背，贵不可言”，陈宝应突然站起来说“可谓明智之士”虞寄严肃地说：“败坏郦其劝降查王旦尘的计划而骄纵堕值，不足以称为明智之士；哪裹像班彪的《王命》这样，认识到归宿呢？”

虞责知陈宝应不可规劝，顾虑祸害到自己，就穿上居士的衣服以拒绝陈实应。长久地居住在东山寺，假称脚生了病，不再起床，陈实应认为是假装的托辞，派人去烧虞寄的卧房，虞寄安稳地躺着不动。边亲近的人要扶虞寄去，卢寄说：“我的生命已无所依靠，要往哪裹逃避？”放火的人，不久自己来救火了。陈宝应从此才相信了。