天，祖征讨后秦，林再当参征西军事，同时兼任三府的中兵参军，又加号建武将军，带兵为前锋从汴黄河。当时襄邑投降的叫董神虎的人，有义兵一千多人，祖想安抚刚刚依附的中原人众，便用他当太尉参军，加扬武将军，带兵跟从大军，林带神虎攻仓堰，攻陷了它，董神虎嘘自己的功劳，直接回到襄邑，林的队驻扎襄邑，便杀了董神虎而收编了这支队，当时伪建威将军、河北太守薛帛先期占据解县，林跟着到来，迅速前去袭击他们，薛帛丢下众逃到关中，林收下了薛帛的队和军粮。伪荆州刺史、河东太守尹昭据守蒲坂，林在陕城和冠军将军檀济共同攻蒲坂，龙骧将军王镇恶攻潼关，姚泓听说大军已到，派伪东平公姚绍赶快占据潼关，林对檀济说：“当今蒲坂城池固，不是十天半月能攻下的，攻它便使士卒受伤，围守它则旷日持久，不如丢下不顾，回军援助潼关我军，况且潼关是天险。正是所谓形胜地方，而王镇恶兵势单弱，形势危险，我军攻无力，如果使姚绍据守潼关，则难以想办法了，趁敌人还未到，合力围攻，如果潼关攻下，尹昭可以不战而降。”檀济听从了这个建议。林等到了潼关附近，姚绍纠集关中的主力，设置双层包围圈围住沈林和檀济、王镇恶等，当时宋军孤军，粮草供应没有跟，军中猜疑，人心不稳，檀济提议渡过黄河避开敌人的兵锋，有的人想丢弃辎重资，回投祖，林着宝剑大声喝：“相公为王室效力，一直准备一统天下，许昌、洛已经平定，关右将被收回，事情的成功与否，取决于我们先锋队，现在丢弃将成功的形势，我军主力还很遥远，敌人正多，即使我们想回去，又怎么能到达呢？下官接受先锋的重任，誓死前，今天的事，我可以为将军拿下，然而各位先生们，有的是同艰难的战友，有的蒙受相公大恩，此时退避，有什么脸面看相公的旗鼓呢？”于是宋军埋平井，烧掉营帐，表示以死决战，林率手下几百人攻敌人西北阵脚，姚绍的人稍稍退却，宋军乘敌人的混一齐攻，姚绍的队于是一下崩溃了，宋军俘虏了几千秦兵，获得了姚绍的全军粮械，当时将领们打败敌人，都多报杀掉的敌人数目，而林的上献胜利的书信到来，每次都实际报告，祖问他为什么，林说：“王者的军队本来有征讨无战斗，怎能再增加虚假不存在的数目，夸耀自己的成功，国渊因符合实际被赏赐，魏尚因为多报首级被惩罚，这也是前事的模范，后来人的榜样。”祖说：“这正是我希望你的。”

当姚绍退走，回去保守定城，留下伪武卫将军姚鸾的兵守护险要地方，沈林命令士兵把脚用布缠起来，半夜袭击姚鸾，将那个城中的敌人全杀掉，割下姚鸾的鼻，活埋被俘虏的残余，祖给林赐信说：“近来我军多次打败敌人，我兴得无法形容，既然多次打败敌人，大概不久可以平定后秦。”姚绍再派抚军将军姚讠赞带兵屯驻黄河上，想断绝宋军路，姚的军营未修好，林趁机攻击，连续打败姚讠赞，姚讠赞骑逃脱，余众便逃散了。姚绍又派长史领军将军姚伯、宁朔将军安鸾、护军姚默骡、平远将军河东太守唐小方率兵三万，屯据九泉，依河守卫，以断绝宋军粮，祖认为保证河通达是特别重要的，又派林抢占河源，林带太尉行参军严纲、竺灵秀迅速击，经多次激战，大败敌人，杀了姚伯、姚默骡、唐小方等三人，其余斩首和收缴的骡械不计其数，林把俘虏的三千人，全放归姚绍，叫他知王师宽容大量，因为兵充足，粮供应不愁，宋的三军擂鼓呐喊向西前，有人说：“敌人离开国都远来迎战，军锋尖锐不可抵挡。”林对刘裕说：“姚绍气盖关中，而势穷力竭，外围的队不断失败，灭亡指日可待，只恐他狗急先死，不能命他来祭我们的旗鼓罢了。”不久姚绍果然背上生疮而死，祖因为林的话应验了，于是赐给他书信说：“姚绍忽然死亡，可以说是天杀。”在这时姚讠赞统后面的军务，纠集残兵败将，再来袭击林，林率兵抵御，还未战，秦兵便一时崩溃，姚讠赞骑逃跑，林既然连续作战都胜利了，兵军旗漫天盖野，声势浩大，祖上书勉励他，也给他送来布匹佳肴和汤劳。

祖到了阌乡里，姚绍搜集境内的壮丁，屯驻。。柳，当时沈田从武关北，屯军蓝田，姚泓亲自统率大军围攻田，祖担心田众寡悬殊不是敌人对手，派林从秦岭步行，相互接济，林到时，田已经击败姚泓，他兄弟二人再继续反击，姚泓于是退守霸桥西岸。沈田想穷追到底，林制止他：“如果我们前去攻下长安，易如反掌，再攻克敌人的城市，便是独自平定一国，那是不能赏赐的功劳。”田便停止了。林再去当参相国事，其他的职务照旧，沈林威声远播，三辅一带人民非常敬畏他，关中的豪杰，望风投诚。西州人李焉等人，都求请立功效命。孙妲羌杂夷和姚泓的亲属，都相率投靠林。祖因为林安抚有方，多次下书赞扬，并叫他认真地抚百姓。长安平定之后，残余羌人十多万人，向西逃奔陇，林派兵追击到寡妇，转斗抵达槐里，打败了他们俘虏一万多人。

宋军主力回到东方，林率军驻在石门，作为声援，回到朝廷，大臣们想授予他一州刺史职务统八郡，祖觉得林才智众，不让他外镇守。所以林外官，便一直理军情要事，如果不是兵征讨，他一直没有到外面任职，后来太祖文帝镇荆州，朝廷商议以沈林和谢晦作为辅佐，祖说：“我不能突然没有他们两个人，林去，那么谢晦便留下。”于是以林为西中郎中兵参军，兼新兴太守，林思考问题非常刻长远，如果有些主意，祖从来不说不好的，当大军从北方回到彭城时，林认为天天兵，人们归心似箭，便陈述他的想法说：“圣人皇帝之所以戒骄戒躁，严肃认真，不是为了立威尚武，实际上是为了治理国家造福人民，当今应该建立藩镇护卫朝廷，加警卫理工作。”祖地采用了他的意见，不久谢翼谋反，祖叹，沈林的见识，为什么这么明白呢？太祖晋名号为征西大将军，沈林仍然随本府转职，加号建威将军，河东太守，当时祖因为两个敌国不断侵扰，想再征伐，林决谏反对兵，祖回答说：“我将不再亲自当大军统帅。”

祖登基称帝，林因为开国功勋，被封为汉寿县伯，邑六百，他决辞让，未被同意。傅亮给林写信说：“封爵赏官是每朝的正常习惯，封爵赏赐，完全自皇帝的真心，皇上委托重任给你的心意，确实是好坏对照作的选择，皇上真诚的愿望，是要你跟国家同呼共患难，正是指望你这样的人共同建设好国家罢了，足下虽然怀有谦让的打算，怎么能一个人当君呢？”他被任命为府中咨议参军、将军，太守还照旧。不久又叫他暂时外，以中兵局事官职作录事。祖因为林勤劳俭朴，不断地赏赐他，林把这些品都散给亲朋故旧，家中没有一多余的财，从未问过经营发财的事。他的中表和孤寡贫穷的亲戚都投靠他，恰遇他母亲去世，回到东方理安葬事务，祖亲自去吊唁，中间又派使者问。安葬一完毕，祖便下诏书说，国家军务民务繁多，内外都需要人才，前镇西咨议、建威将军、河东太守沈林，不能完全满足他的孝心，可以让他当辅国将军来复职，林决辞让，不被同意，祖又赐给他墨制诏书，可以在十五三十不需上朝，每有涉及国家军政的大事，都向他询问，当时领军将军谢晦执掌政事，他每次有病，都叫林代替他，林在守孝期间悲伤到了极，祖非常担心他的健康，不久林便病了。祖因为林孝心特别重，不想让他哭泣过分损害，他台省，每天早晚不断地安他，祖又赐书给各个大臣们说：“林情过人，你们要多多地劳和看理。”林的病稍稍好一才走，祖不久也病了，林被请去照顾祖的病情。遇到林病情复发，永初三年(432)林去世，当年四十六岁，公卿们知祖非常重林，恐怕告诉真情，会增加祖的病势，每次遇到祖问到这事，总是回答说：“林因病在家中休养。”或有诏书追问，也假装林回答。祖不久便去世了，一直没有知林去世的消息。林去世后，朝廷赐给他东园的秘密，一朝服，一衣服，二十万钱，布帛二百匹。诏书说：“故去的辅国将军沈林，才智卓越，忠诚显著成绩斐然，理想还未实现便去世了，我非常悲伤，可以追赠他为征虏将军，有关人员一般习惯来理的。”元嘉二十五年(448)林被追谥为怀伯。

沈林简洁平静，廉洁不贪，不与世人过多结，谦让的品德，连平常居不的妇人也知，他即使在军中，也从不谈论军事，他写的诗赋、赞、三言、箴、祭文、乐府诗、表、蕂，书记，白事，启事，论，老论共一百二十一篇，太祖后来读《沈林文集》，叹息：“此人如果作三公，必定能继承王太保。”他的儿沈邵继承他的爵位。