，中书事务，不久又转他为员外常侍，再排挤他去始安太守。领军将军谢晦对延之说：“从前荀勖嫉妒阮咸，贬阮咸始平郡太守。今日足下又被贬始安太守，可算是前后辉映的‘二始’。”黄门郎殷景仁也对延之说：“你这事正如俗话说的‘庸人嫉妒贤人，世俗苛求才’。”

颜延之到始安上任，途经汨罗江，替湘州刺史张邵作了一篇《祭屈原文》，表达他的悲愤，大意说：

“我惶恐地接受皇上的命令，到湘楚之地官，凭吊屈原投江的旧地，亲临屈咏诗的旧波，驻于汨罗江畔，泊舟于汨罗江边，恭敬地祭祀楚国三闾大夫屈原君的灵魂：

‘馨香的兰往往被熏坏和摧毁，的玉石往往被折断，万最可怕的是它的好，人最怕的是他的贤明洁。就比如屈先生您，便逢到这样一个不幸的时代。光一下便逝，冬天很快便到来，秦国与楚国正战不停，秦昭王和楚怀王竭尽他们的智力，您挫败张仪和令尹兰的谋。你的品行比兰更负，远离国都，狼迹湘江，却日夜渴望回到故国，你真是比灵草还芬香，比荷还清纯。你如神龙般矫健，如鸾凤般纯粹。你的声音比金石之光更加长久，你的志向可与日月争光，你像那橘树———香溢四野，又如小枝般初发初长。望一望汨罗江泪横，看一遍汨罗江我的心飞越上古，假如时间不成障碍，我真想找你倾诉我的一腔报国忠。’”

宋文帝元嘉三年(426)，徐羡之等被杀，颜延之被任为中书侍郎，不久又转官太中庶，这后又兼任步兵校尉。文帝非常看重颜延之，延之平素喜饮酒，放不羁，不能与时人相合，因为看见刘湛、殷景仁手握大权，心里非常不满，常对别人说：“天下大事就应当与天下贤人共同商讨，难它是一个人的智力能对付得了的吗？”他说了很多这样激烈的话，每每犯当权人，他曾对刘湛说：“我的官职和名誉不增加，大概是因为跟你作属所引起的。”刘湛怀恨他，向彭城王刘义康谗言，把颜延之排挤外当永嘉太守。颜延之非常愤恨，于是又写了一首《五君咏》歌唱竹林七贤的故事。其中包括山涛、王戎从显贵到罢官的事。咏到稽康时是：“鸾翮有时铩，龙谁能驯。”咏阮籍说：“故可不论，途穷能无恸。”咏到阮咸说：“屡荐不官，一麾乃守。”咏刘伶诗说：“韬日沉饮，谁知非荒宴。”这四句，大概也是描叙自己，刘湛和刘义康听到这些不恭的话，然大怒。当时颜延之已拜永嘉太守，他们想把颜延之贬到更远的地方。这时文帝给刘义康下了一诏书：“贬颜延之为小郡太守而不让他参与朝政。有人说留他在京城里，还不至于会蛊惑人心，他的罪过很明显，可以说大家都是很熟悉的，只需要撤换一下，叫他回家闭门思过。假如他自己不悔改，再贬到东方也不迟，如果他仍执迷不悟，自然可以绳之以法，殷景仁、刘湛等也有这看法。”并命令光禄勋车仲远代替颜延之，是因为车仲远与颜延之一贯关系不好。于是颜延之闭门闲居，七年不和外界往来。中书令王球是名人弟，非常超脱，颜延之仰慕他，王球也欣赏颜延之的才能，两人关系密，颜延之经济拮据，常常困乏，王球总是周济他。晋朝恭思皇后安葬时，百官都参加了，刘湛因为颜延之义熙元年仕官，于是推举颜延之侍中，有关单位给颜延之送信笺，颜延之把它扔到地上，大声说：“我颜延之连活人都伺候不了，更不用说是死人了！”

颜延之闲居家中，无事时往往作些文章，其中有一篇《诰》。现在删去里面的多余分，留下华，放在这里。文章说：《诰》一文，主要是说家务事而不是国家事。我现在年岁已，常怕某天去世，以至不能留名后世，所以作一篇《诰》的文章。关于立世，劝诫世人，这些话已被圣人们所阐明，此不必再加论述。目前我说的写的都是平生多年思考的受，完全自我的真诚心，只是用来指导我人的指针。我喜简明扼要，不喜繁词富语，但有时又议论得过分详细，这只是为了约束不规范的地方。正如古人说得好：获得一个鸟只要一个网，但一个网却得不到一只鸟，我的文章也是这样，挂一漏万，这是我文章的想法。

大是公德，情是私心，德行事，可以和神灵相通，让它们保佑自己。自私只会导致隔阂，却不能叫妻儿女与自己同心。所以从前真正的君，必须收敛情，遵循德，顺从公理，摒弃私。

大丈夫长不满一丈，却把大的天地变成自己的心神；寿不过百十年，却希望与金石相终始。看些古人的箴言，近观当代名士的论述，即使是生活小节，往往追求万世之名，日常琐事，却竟在千古后传。况且是建立德，成立名义，抚养家人，教育全族，难可以不作长远的打算？

一说法说自己的德行不值得留给后人。但是希望儿孝顺必须自己慈；要求弟弟恭敬，必须自己友。虽然说孝顺不完全取决于慈，但慈往往培养孝，和顺不全在于友，但友好的兄长却引导恭谨的弟弟。

如果一个人不和气，那么别人对他也不客气，好比不信任他人，别人也不信任他。假如知恩相生，情和德相辅相承，便可以使每家都有曾参、弓，人人都成路、贡。