祖不违背他的意志。我从先帝那裹受封钜平，怎么敢受重爵，招致因不称职而受到的责难!”决不接受，皇帝同意了他。羊祜每次被升官爵，常保持谦虚退让，至诚之心一向显而易见，因此比晋升更能得到誉。所以他名声德远扬，朝廷内外都敬仰，士大人都奏议，羊祜应该任三公宰相。皇帝正有兼并吴国的志向，依仗着羊祜在东南方任职，所以压下奏议。羊祜历任两朝大臣，掌要职，政事中的利弊，都向他咨询，追求权势与财利的事，他一概不涉及。他的谋略公正的议论，因为草稿被焚，所以世人并不清楚。凡是他所奏报的，外人都不知缘由。有人认为羊祜谨慎得太过分，羊祜说：“这是什么话!则到国君膝下，则不以实情相告，这是对君臣不保密的告诫，我惟恐得不够。不能推举贤人任用异才，岂不愧对知人之难!况且受朝廷封爵，却向私门谢恩，这是我不能的。”

羊祜的女婿曾劝说“置办一些家产，以备告老还乡，难不好吗”？羊祜沉默不回答。事后告诉儿们说：“这可以说是知其一不知其二。臣的为了私就会背弃公心，这是一大困惑。你们应该知我的意思。”曾写信给堂弟羊堡说：“安定了边境后，我将角巾向东走，返回故乡，准备一块能容下棺材的墓地。我以普通百姓的份而居位，怎么能因为追求富足而受责备啊!疏广是我的老师。”

羊祜喜山，每逢好时光，必定去岘山，设酒赋诗，从早到晚不知疲倦。曾慨叹息，对从事中郎塑逦等人说：“自从有了宇宙，就有了造座山。从那以后贤人名士，登此山远望，如同你我这样的多了!他们都随时而灰飞烟灭，使人想起来悲伤。如果死后有知，魂魄也应登这座山。”隧说：“公之德四海第一，承前代哲人，好的名望，必定和这座山一同传下去。至于我们这些人，该像公所说的一样。”

羊祜因讨伐吴国有功，将加封爵位土地，他请求赐给他舅舅的儿蔡袭。下韶封蔡袭为关内侯，邑三百。

吴人侵弋、江夏，掠夺人，下韶派遣侍臣传文书责问羊祜不追击讨伐的原因，并打算迁徙州府恢复原址。羊祜说：“江夏距襄八百里，等到得知敌兵来犯，敌兵已经离去好几天了。步兵赶去，怎么能救得了呢!调动军队来避免责备，恐怕不合适吧。过去魏武帝设都督，一般都和州相近，因为兵势讲究集中忌讳分散。战场上，力量彼此消长，谨慎防守就是了，这是古代的好经验。如动辄迁移州府，敌兵没无常，也不知州府设在何适宜。”派去的侍臣不能责问。

羊祜患病，请求朝。到了洛，正赶上景献皇后灵车殡，极度悲痛。皇帝下韶晓谕羊拈，带病引见，命他乘车殿，不必下拜，很是被优待礼遇。就坐后，当面陈述讨伐吴国之计。皇帝因为羊祜有病，不宜常朝，派遣中书令张华向他问询计策。羊祜说：“如今皇上有禅代的名，而功德还不昭著。吴人暴已经到了极，可以不战而胜。统一天下，兴盛礼乐法度，皇帝就与舜齐名，大臣和稷契同功，成为百代的楷模。如果舍弃伐吴，假如孙皓不幸死了，星人重新立了一位好君主，我们虽有百万军队，匡丝也无法跨越，将成为以后的祸患!”张华完全赞成他的谋略。羊祜对张华说：“完成我的志向的，是你。”皇帝打算让羊祜卧床监护诸将，拈说：“攻取县厘不一定要我亲自参与，平定之时，当使皇上费心。涉及功名的事，我不应居其间。假如事情结束，应当有所托付授受，愿慎重地选择其人。”

病渐渐加重，于是推举杜预代替自己。不久去世，时年五十八岁。皇帝穿素服为他哭泣，很悲哀。这一天极冷，皇帝的鼻涕泪沾在胡须鬓发上，都结成了冰。南州人在赶集的日听到羊拉的死讯，没有不痛哭的，关门歇业，街巷裹哭声不断。吴国守卫边境的将士也为他哭泣。他的仁义德的化力就是这样。赐他达官贵族专用棺木，朝服一，钱三十万，布一百匹。诏书说：“征南大将军南城侯羊祜，德行谦虚朴实，心境清廉悠远。开始在朝廷内任职，正值我接受天命，一心忠诚，佐助王事，在朝内执掌大权，在地方为一方统帅。应当长久地显赫，永远辅佐我，而忽然逝世，悼念他让人伤。追赠侍中、太傅，持节如生前。”

羊祜为人清廉俭朴，衾被衣服都很简朴，得到的俸禄，全都资助了族人，赏赐了军士，家中没有多余的财产。留下遗嘱不许把南城侯印放棺材中。堂弟羊诱等人陈述羊祜平素的志向，请求把羊祜葬在祖先的墓地。皇帝不许，赐离城十里以外靠近皇陵的葬地一顷，谧号成。羊祜殡时，皇上在大司门南送行。羊祜的外甥齐王司攸表述羊祜妻不侯爵份安葬羊祜的意思，皇帝下诏说：“羊祜决辞让了多年，志不可夺。死而谦让尚存，遣留下的行更振奋人心，这正是伯夷叔齐所以被人称贤，季所以能保全名节啊。如今听任恢复原来的封赐，以表彰德。”

当初，文帝去世时，羊祜对傅玄说：“三年服丧，虽然贵在礼制服丧，从天到庶人都不例外，然而汉文帝废除了，毁坏礼制伤害义理，我时常为此叹息。如今上天使国君极孝，有曾参与盟翅的品，虽然取消了丧服，还是实行丧礼。既然实行丧礼，又何必取消丧服呢!如果就此改革汉魏的薄丧，而复兴先王的法度，以此使风俗敦厚，百代留下名，不也很好吗!”傅玄说：“汉文帝因为末世的浅薄，不能实行国君的丧礼，所以便废除了。取消了几百年，一旦复古，很难实行。”羊祜说：“不能使天下都实行丧礼，姑且使国君礼服丧，不也可以吗!”傅玄说：“国君不取消而天下取消，这是仅有父之纲，不再有君臣之纲，三纲之会受损害。”羊祜便作罢。