独绝，每次文章作罢，就自己把它写下来，文帝称为二宝。既然自以为是名，就应该参与朝政，但是到现在只是被以文学的份对待；常常陪同皇上宴饮，不过就是闲谈欣赏。王昙首、王华、殷景仁等人的名位素来都不超过他，却都被赏识重用，心里很不平衡，于是常常声称有病而不上朝值班。开凿池、设置园林、植竹、栽培果树，赋税徭役，不再去促如期完成。城游玩，有时远达一百六七十里，十几天不归。既没有上表，也不请假。皇上不愿意伤害大臣，委婉地暗示让他自己辞职。谢灵运上表陈说自己有病，赐给他假期东归。将要走的时候，又上书劝朝廷讨伐黄河以北。而游玩宴集，仍然夜以继日。又被御史中丞傅隆参奏免官，这一年，是元嘉五年(428)。

谢灵运到了东以后，和族弟谢惠连、东海人何长瑜、颍川人荀雍、泰山人羊璇之以文章互相欣赏聚会，共同行山泽旅游，当时的人称他们为四友。谢惠连自幼就有奇才，不为他的父亲谢方明所知。谢灵运离开永嘉回到始宁，当时谢方明为会稽太守，谢灵运去拜访谢方明，遇到了谢惠连，大加赏识。谢灵运的格平时无所推重，只重谢惠连，和他结为生死之。当时何长瑜教谢惠连读书，也在郡内，谢灵运又以为是绝之才。他对谢方明说：“阿连有这样的才能和悟，而您却当成平常的儿童对待，长瑜是当今的王粲，而您却用对下客的态度对待他。您既然不能礼遇贤士，应该把长瑜还给灵运。”便用车把他拉走了。荀雍字雍，官到员外散骑郎。羊璇之字曜。。，担任临川内史，被司空竟陵王刘诞所赏识，刘诞失败后株连被杀。何长瑜的才气亚于谢惠连，而荀雍、羊璇之赶不上。临川王刘义庆搜集文士，何长瑜从国侍郎升到平西记室参军。曾经在江陵寄信给族人何勖，用韵语来描述刘义庆州府中的官员说：“陆展染白发，以媚侧室，青青不解久，星星行复。”像这样的有五六句。而轻薄少年于是加以扩展，凡是人士都成为题目，都加上苛苦的诗句，他们的这文字非常行。刘义庆大怒，报告了文帝，把他调任广州所统辖的曾城县令。后来刘义庆去世，朝中的士人都到府上去致哀，何勖对袁淑说：“何长瑜就可以回来了。”袁淑说：“封国中刚刚失去了皇族的英才，不应该就考虑放人员。”庐陵王刘绍镇守寻，任命何长瑜为南中郎行参军，掌书记工作。路上走到板桥，遇到暴风落而死。

谢灵运凭借祖父的产业，生活的资本很丰厚，僮很多，旧时仆役几百人，凿山浚湖，工程不断。寻山攀岭，一定要登上幽僻峻之，岩嶂几十重，无不全走到。攀登常常穿着木屐，上山的时候就去掉它的前齿，下山的时候就去掉它的后齿。他曾从始宁南山伐树开路，直到临海，跟随的有几百人，临海太守王臔很吃惊，以为是山贼，最后知是谢灵运才安下心来。谢灵运又邀请王臔继续前，王不肯。谢灵运赠王臔诗说：“君难地山佥，旅客易山行。”在会稽也有众多的随从，惊动了全县。太守孟靑奉佛十分虔诚，而被谢灵运所轻视，他曾经对孟靑说：“要想得必须有天赋的慧业，丈人您升天肯定在我的前面，而成佛必然在我的后面。”孟靑对这话为憎恨。谢灵运又与王弘之等人去到千秋亭饮酒，赤着大声喊叫，孟靑到不能忍受，写信向他们提。谢灵运大怒说：“我们自己大叫，跟痴人有什么关系？”

会稽东城有个回踵湖，谢灵运请求放开为田地，文帝让州郡实行。这个湖离城郭很近，对于湖中的产，百姓们到很可惜，孟靑持不给。谢灵运得不到回踵湖，又请求把始宁的休山皇湖开为田地，孟靑又决不让。谢灵运说孟靑并不是打算有利于民众，而是顾虑决开湖会害死中许多生命，于是便用言论对他行攻击。谢灵运与他便产生了矛盾。借着谢灵运的横行放肆，孟靑上表说他心有异志，发兵自己行防守，并且上报朝廷。谢灵运骑到中上表，自己陈述事情的原委。文帝知他是被诬陷，并不降罪。也不想让他东归，任命为临川内史。

他在临川的游玩放狼，不异于在永嘉，被有关门所纠弹。司徒派遣使者随州从事郑望生拘捕了谢灵运。谢灵运兴兵叛逃，于是便有了造反的志向。他写诗说：“韩亡房奋，秦帝鲁连耻，本自江海人，忠义君。”官兵追讨，捉住了他，送给廷尉，廷尉论为斩刑。皇上他的才能，打算只是将他免官。彭城王刘义康持，认为不应宽恕。诏令说“谢玄功勋可比仲，应该宽大理他的后代，把死刑降为放广州”