而他自己却认为有平参与国家大政，现在既然不被赏识，经常愤愤不平。庐陵王刘义真幼时便喜好文学，和谢灵运有很好的关系。少帝当皇帝时，权力掌握在大臣的手上，谢灵运在中间挑拨离间，诽谤当权的人。司徒徐羡之等人很怕他，让他外当永嘉太守。永嘉郡有很多名山秀，他一贯喜游山玩，因为他是被排挤来的，于是便任情地遨游，足迹几乎踏遍了每一个县，每次游，动不动便上十天，老百姓的诉讼，他一概不。谢灵运无论到哪个地方，都诗作赋，表达他的受和心意。在郡上任职只一年，便称有病离职。他的堂弟谢晦、谢曜、谢弘微等都写信劝阻他。谢灵运本不听。

谢灵运祖父和父亲都安葬在伯宁县，那里有他家的老屋和别墅。于是他自动改成会稽郡籍贯，在那里修建房屋和庄园，他的居前瞰环环的秀，后背巍巍的大山，极尽幽静谧的风致。他和隐士王弘之、孔淳之等逍遥放纵，以此为乐，常有在这里安度余年的打算。他每一首诗被传到京城，无论贵贱竞相抄写，一夜之间，官吏百姓便知晓熟悉了。远近四方的人非常仰慕他，他的名声震动京城。

文帝当皇帝，徐羡之等被杀，谢灵运被调为秘书监，两次被召见，谢灵运都没理睬。文帝派光禄大夫范泰写信给谢灵运称赏他，他才应召就任。文帝叫他整理秘书省的图书，补增遗漏的地方，又因为有晋一代没有一本完整的历史书，所以叫谢灵运写一本《晋书》，他写略提纲，但这书终究没有写成。不久又升任侍中，每天早晚被召见，很得文帝的。谢灵运的文章书法都独步当时，他每次作文，都亲笔抄录，文帝称他的文章和墨迹为二宝。既然自己是名人，谢灵运觉得自己应该参与朝政，开始被召见时，便这样自许，但召见之后，文帝只把他当成一个文人而已。他每次和文帝在一起喝酒时，文帝不过让他谈论诗文而已。王昙首、王华、殷景仁等人，名声爵位一直在他之下，却同时被待，谢灵运心中不满，往往推说自己有病而不上朝，只修筑池塘、植树、移栽修竹、摆香草而已，他驱使为国家服劳役的人，简直无休无止。城游玩，有时一天走一百六七十里，往往上十天不回来，既不上书请示，也不请假。文帝不想伤害大臣，暗示他主动辞官。谢灵运于是上表陈述自己有病，文帝让他休假回到东方。他临行之前，又上了一奏疏劝文帝北伐。文章说：

从中原沦陷以来，一百多年，百姓沦落敌人之手，已被异族统治，先帝聪明神圣，怜悯中原人民苦难，希望平河北，统一中国，让中原拨反正，遗民重归中华。但时运有变，大业未成，理想还未实现，先帝便抱恨而逝。况且先帝下葬不久，敌人便来侵略，有志忠义之人，谁不想激奋而起，为国报仇？但少帝时的执政大臣，才能平庸，只在朝廷制造混，哪里顾得上先帝的嘱托。于是边城陷敌手，无人愿意赴援，忠贞为国之士被敌俘虏，黄河域的大好河山，终于落敌手，这些沦陷的疆土，都是先帝时开辟的，沦陷敌人之后，国家的这个耻辱应该被洗刷，现在应该准备这个工作。况且敌占区的人民，穷困悲苦，敌人赋敛无度，没有止境，人民如果不时税，便被屠杀。要是他一不能保命，则全家被株连，满门遭殃，乡亲也会不幸。这些确实是叫善良的人们痛心不已愤慨之极的。

人们都说西边敌人舍本逐末，兵陇外，东边的敌人北，我军可以趁机掩袭，待西边的敌人返回后，我军得以据有关中，包围咸，敌人回来的路便已截断，纵然想派兵支援，只能远袭大城附近的我军，以便内外相应。但是此时我军有山险关作为护卫，本已固，即使敌人想增援，只不过丢下他的老巢，但并不能拯救他们自己。外面的敌人疲惫不堪，内面则空虚不守，关键的时机，没有比这时更恰当的，炫耀兵力显示武力，正在当时，如果和敌人相持不已，也许会生意外事变，再遇到新的敌人，则和开始时机不同，如果不抓住这个好机会，就很难建立大功，即使兵力众多，粮充足，但是得胜的可能不一定有了。纵观古代历史，都是以吞并弱小为契机行统一的，古今的所有英雄没有例外的，难那时不是天时人事机会难得，兴亡可以判明，正在当时。所以古人说：“既看见敌人有天灾降临，又看到他的矛盾重重，才可以打他的主意。”当年魏国的大，平定荆州和冀州，不过是利用了刘表和袁绍的衰弱机会；晋国的盛，消灭吴国和蜀国，也是利用诸葛亮陆逊们不在的时机，这都是以前固有的例，在史书上写得清清楚楚的。从后秦姚氏被平定以后，天下人都认为胡人会消灭。我们应该直指台，席卷敌人各个城市，让敌人胆破心裂，然后指日平定北方。但是长安失守，潼关沦陷，敌人得以保命，延长他们生存的时间，从那时到现在，已十有二年，达到一纪的时期，所以我有前面的这些看法。况且五胡互相替代很快，他们的最后时期，正在明年。他们相互攻击，我们应该加以利用，卞庄刺虎的态势，就好比今天的形势。北方的人民仰望皇上的恩德，好像饥渴的人想饮吃饭一样，南望我朝，已很长很长时间了。人民重见天日的希望，确实在陛下的上，这个机会不利用，以后便没有了。尽今日国家的储蓄，确实不多，然而办大事需要国家富，不寻找机会，那是很容易的，但是抓住机会更难得。现在的武战多了，兵力扩充了，远远超过从前。至于兵获胜的成果，其中可以得到冀州的一百多万，以及充足的田地租税。冀州的富饶，在《禹贡》里便说得很清楚，先贤们创立的基业，巍巍尚在。那里源充足，平原上满布桑黍麦粟，那里富足的力人力，再清楚不过了。仔细为国家打算，这个收获远远大于兵北方的费用！