楚的，特别是那些取义舍生的人尤其如此，臣下思先贤的话，常想在哪个地方报恩皇上，使自己活着能实现心愿，死得其所。如果让我得到重重的俸禄，占据光荣的职务，穿着狐衣服，坐着熊椅，但无补于朝廷，确实内心不安。当今敌国正虎视耽耽，为了国家免除战争和祸，对它们都应有所防备，前一段时间老天还不讨厌战，胡人轻兵南犯，戎狄贪心不厌，常常想乘我国的空隙。如果敌人给我国带来，中原战火频繁，或者敌人远去，又来侵略边疆，加上秋，胡南来，应早早准备，不致敌人抓住机会。臣下每日要想几遍，常想怎样报答国家，不论大小，只要有机会，哪怕是偏远的地方，如果能有用武之地，则必定尽力而为。至于经军事和行政事务，主国家军队，是我才能不能胜任的，也是我内心不愿意的。陛下了解我的情况，我不敢当。至于彭城军府中事务，希望皇上托付给我。况且我本来就是皇上使唤的，不希望宰相的职务，只想当一州刺史，则我一定安心，愿陛下明白我的心，一定同意我的请求，那么里外都很满意，我将永远铭记您的恩德。”

孝武帝又不同意，王僧达三次上疏，孝武帝不兴了。让他当了征虏将军、吴郡太守，一年之内，五次贬官，僧达更加不得意。

吴郡城西西台寺里面有很多很富的和尚，王僧达屡次派人向寺中索要财，派主簿顾旷带手下壮士拦劫寺里的和尚竺法瑶，搞到了几百万。荆州和江州反叛时，朝廷允许王僧达增加手下士兵一千人，但王僧达却建立三十个小队，每队八十人，共二千四百人。又在吴郡建立自己的豪华住宅，多次使用当地公家壮丁。因此事被免官。当初王僧达当太洗官，在东里服务，喜一个士兵叫朱灵宝的，在任宣城太守时，灵宝已长大成人，王僧达伪装灵宝已经死亡，让灵宝替宣城左永之的名额，再注籍为自己的儿。为灵宝改名元序。启告文帝用灵宝为武陵国典卫令，再用他为竟陵国典书令，建平国中军将军。孝建元年(454)天，事情暴。他便被禁锢起来。王僧达上疏认错说：“这些都是因为我不能依顺陛下左右的人，谄媚当权人所致。”孝武帝更加愤怒，王僧达族侄王确是个青年人，长相非常好，王僧达和他很相好，王确的叔父王休当永嘉太守，将带王确到那里去，僧达迫他留下，王确知他的打算，避而不见。王僧达大怒，暗地在自己屋后挖了一个坑，想引诱王确来话别，乘机杀死他埋掉。他堂弟王僧虔知这个谋，痛骂他，他才作罢。御史中丞刘王禹上疏请逮捕王僧达治罪。孝武没同意。

孝武帝三年(456)，他调任太常官职，王僧达尤其不快活，过些时候，上疏请解除职务。疏文说：

“我自己反省自己，觉得才能低下，青年时代缺少从政经验，加上过去常发病，几年中病得很厉害。平生的主要心愿，是想闲居家园。先帝追思先人的功劳，让我过早地得到荣誉。以前我也认为穷困的亲戚需要赡养，所以改变平生的打算，官场，有一年多。不久又升任太舍人，几乎不需要在里值班，然而，我确实没有什么功劳享受先皇恩，无功受禄，所以自己反复思想，多次启禀皇上，终于被允许，让我复归家园。不久，又被推荐为太洗，可谓皇恩优厚。当拜官的时候，说有一郡缺一太守，应该有人去。恰遇琅王牙王改换官职，即被皇上命令作文书，殷勤待，叫我准备好随从他。灵宝往年散失在长溪，上皇恩恩大德，低铭记光荣的恩。但臣下突然灾难降临，姑且看视关心灵宝，便被逮捕拷问，我当时详细地上奏事情的经过。在宣城任上，极为张，二月份到官，冬天便遇到魏人向南侵略，臣下惭愧，作为皇上信任的大臣，要报答皇上的厚恩，要求从那里回来，保卫城。当我回来时，我军已赶走了敌人，我在宣城时间不长，所得的俸禄已用完了，正准备穿上农民的衣服，回家地，但宣城的人民到首都来请求我再回宣城。那时皇上下了命令，和我的已死的堂兄僧绰都让我留在京城，但我多病不能什么大事，野无知，又上疏苦苦哀求再次回任宣城，还未回去，我的哥哥王锡突然去世，我请求回家奔丧，皇上允许我以郡守的份回到首都，时间不长，又调我任义兴太守。臣下自皇上即位以来，凭着皇上的恩德，想多为朝廷效劳，建立一些功业。但从任职以来，却没有一成绩，患病已久，更没有值得别人赞扬的地方。反而生喜游山玩，喜养钓鱼，说到官的理，总是不得要领，所以只能安分守己，时刻谨慎，确实是由于有些亲戚需要供养，某些衣服还未准备，东边的郡太守俸禄太轻，西州刺史的收较多的缘故。并且当时反复的陈述我的情况，和开始时的想法一样，请求委任江湘远州刺史，以便一二年中，些积蓄，为的是退休时候，粮和药能得到保证。皇上同意我的请求，我上就得到提。

“恰巧此时叛顿起，天下动，我想我的家一贯承蒙皇家大恩，而对于我本，再次授以位，皇上和我们君臣之间的关系，简直是父一般，我诚然无知少能，但和草木相比却要有情得多，知什么叫恩德。听说先帝被弑，简直像自己被杀了一般，我和我的小儿，千里兼程南奔，路上的千难万险，常常使我们陷于绝境，在那时生命简直像朝晨的一样容易被消灭，如蚕丝一样有可能被斩断，幸好老天爷帮助正义的人，我们终于战胜这些困难，再见皇上，重见天日。而且当时我哥的儿王僧亮等被元凶刘邵所抓，全家被投监狱，即使想救护他们，但关山万里！心中常想念亲人，叫人怎么不痛心。卧薪尝胆，是为臣的职责，但心里想念亲人，也是我的一片苦心。