虽然缺乏乡里曲的赞誉，但是也曾听说遇君的德行。首先就是隐于市肆之间，退居安卧在山林岩石之下；其次就是在金之上佩结印绶，在云台之上谈阔论；再其次就是俘虏南越国君，系住单于的颈：遣都能启用丹书铁券，留名青史。人难应当争夺一分一寸这样的微小益，竞争刀刃锥尖这样的细小利益吗!可是我听说毁谤的话积累多了可销熔金，谗言积累多了可以使骨糜烂。古代的直生被怀疑有盗窃金的行为，近世的伯鱼被加上不义的名声。他们这样两个贤才尚且如此，何况事情发生在我的上，我哪裹能使自己免祸。从前上将军遭受的耻辱，可以举绛侯系囚在牢狱中的例；名臣所受的羞辱，可以举史迁被下蚕室遭受刑的例，像我这样的遭遇还有什么话说呢。鲁连有智慧，辞去俸禄而无反顾；接舆贤明，边行边唱忘记归去。王陵在东越闭关自守，仲蔚在西秦杜门谢客，他们也很可以理解。假如我的事不是这样虚假不实，而是罪名与实际相符，那么我就应当闭不言，伏匕首来殒灭自，我还有什么面目见齐鲁那些有奇节的人，燕趟那些慷慨悲歌之士呢如今圣上理政英明，天下人安居乐业，青云飘浮在雒的上空，荣光充黄河。西到临洮、狄，北到飞狐、原，没有不沉浸沐浴在仁义的恩泽裹的，人们揽镜照影，饮用甘甜的酒。然而我却在牢狱裹抱痛悲愤，逭一件事情虽然微小，却有值得悲伤的地方。我恳求大王稍稍垂察，把我的事个明白，果真如此，那么梧丘的冤魂，就不会因为颅变成中污泥而羞愧；鹄亭的游鬼，也不会因为骨朽为灰而遣憾。我不能忍受肺腑之情的急切，衹得恭敬地通过大王左右的人来使您闻悉我的事情。我的遣片心意已经宣明，那就死也将不朽了。

景素看过逭封上书后，当天就放了江淹。不久又举江淹为南徐州秀才，江淹对答皇帝的策问，结果列最上等，转任陵王国左常侍。

景素担任荆州刺史，江淹随从他到镇所。少童即位，言行多失帝德。景素专擅倨傲，控制着上之地，人们都劝景素趁此时发动事变。江淹每每耐心地劝谏景素说：“谣言会招致灾祸，这是二叔同亡的原因；抵怨恨、度狭小，七国就都为此而遭到灭亡。殿下您不求宗庙的安定，却偏信左右的计谋，那么麋鹿霜栖息布满姑苏台的惨景又要重现了。”景素却不采纳他的忠言。等到景素镇守京，江淹又随任镇军参军事，领南东海郡丞。景素此时与，腹们日夜密谋计议，江淹知祸机变将要发生，就写了十五首诗赠送给景素来讽谏他。

造时碰上南东海太守陆澄守丧离任，江淹认为自己作为郡丞应该理郡务，景素却任用司柳世隆主郡事。江淹持要求理郡事，景素大怒，把此事告诉选，结果江淹被贬官为建安吴兴令。江淹在吴兴县任职三年。升明年初，齐壹辅助朝政，听说了江淹的才能，就征召他为尚书驾郎、骠骑参军事。不久荆州刺史沈攸之发动叛，帝对江淹说：“天下如此纷，您说该怎么办？”江淹回答说：“往昔项羽大而刘弱小，袁绍兵多而曹兵少。项羽虽然号令诸侯，却终于遭受用一剑刎颈而死的耻辱；袁趋曾经据有四州，却最终成为奔亡败北之人。造就叫‘重在德行而不在显赫’。您疑虑什么呢。”帝说：“这样的话我已听过很多了，还是请您试着替我分析一下。”江淹说：“您雄壮英武有奇谋异略，这是取胜的第一个条件；您宽厚容忍又仁忠恕，这是取胜的第二个条件；天下贤才能人都愿为您尽力，这是取胜的第三个条件；您是民心所向的人，这是取胜的第四个条件；您帮助天去讨伐叛逆，这是取胜的第五个条件。他们虽然志气锐利但是量狭小，这是他们会失败的第一个原因；他们有威势却刻薄无恩惠，这是他们会失败的第二个原因；他们的士兵人心涣散，四分五裂，这是他们失败的第三个原因；官宦不支持他们，这是他们失败的第四个原因；他们孤军几千里，却没有同伙相助，这是他们失败的第五个原因。所以他们虽有十万豺狼之兵，但是终将被我们俘获。”帝笑着说：“您说得过分了。”遣时军事上的书、表、记，都让江淹起草备办。相国府建立，补授江淹记室参军事。建元初年，他又担任骠骑豫章王记室，带东武令，参与掌诏书典册，并且执掌编修国史。不久迁任中书侍郎。永明年初，又迁任骁骑将军，执掌国史修撰。后京担任建武将军、庐陵内史。在任主事三年，又回京任骁骑将军，兼任尚书左丞，不久又以本官职领国博士。少帝即位之初，江淹又以本官职兼任御史中丞。

此时明帝担任相职，就对江淹说：“您先前在尚书省时，不是公家的事决不轻妄行动，为官既宽容又严厉，还能折衷调和；现在您任南司之职，足以震慑整肃百官。”江淹回答说：“今天的事，衹能说是照官员的本分去行事，我更害怕自己才能低劣，意志薄弱，不能够与圣上英明的旨意相称。”于是江淹弹劾中书令谢础、司徒左长史王绩、护军长史庾弘远，都是因为长时间生病而不参与帝陵公事；又劾奏前益州刺史刘悛、凿业刺史垒啦，都是贪污受贿得钱多以万计，这些人就被收廷尉治罪。临海太守沈昭略、永嘉太守庾昙隆以及各郡的二千石和大县的官长，多被弹劾治罪，朝廷内外因此而庄严安定。明帝对江淹说：“宋代以来，不再有严明的御史中丞了，您现在可以称得上是近世独一无二的了。”