库十室九空，数郡萧条，五年都不能恢复。陛下每年派遣一千多人到很远的地方从事耕作防卫，与家人终年离别，万里思归。去的人费用行装，自己必须料理准备，卖完粮，倒下机杼。路途中的死亡，还在这以外，同时遣送罪人，又须增加对他们的防范控制。那些罪人，生活在从事买卖的集市，整天不务正业，犯禁违法，只会在边城扰，确实对战阵无益。所遣送的罪人中，又有逃亡，官府捕捉，给国家造成事端。去昌的路途，沙漠千里，冬季寒风凛冽，夏天炎风如焚，来往的行人，遇到这样的风大多死去。《易经》说‘：安不忘危，理不忘。’假如张掖发生，酒泉现战事，陛下难能够得到昌一人的粮来应付这些事吗？最终必须发动陇右各州，像星奔驰雷电闪击般迅速地赶来救援。由此而言，这河西比方是在心腹，那昌是他人的手足，怎么能够耗费中华的资财，用来从事没有用的事？《尚书》说‘：不无益害有益。’它所说的正是这情形吧！

“陛下德反映了天赋，威力不施到域外，在沙平定颉利，在西海消灭吐谷浑。突厥残余的落，为他们册立可汗，吐谷浑遗留下来的田民，重新树立君长。又重建昌，不是没有前例，这就是人们所说的有罪就诛灭它，已经归服就扶立它。四海及域外百族，谁没有听到看到，但凡天下生灵，都会畏惧威力仰慕德行。应当选择昌可以册立的人册立他为可汗，征召首领，送还原来的国家，使他们承受洪恩，长期成为边境的屏障。中原不受侵扰，既富足又安宁，把这一切传给孙，遗留永世。”

贞观二十年(646)，太宗在寝殿旁边另外设置一个院，让太居住，绝不让他到东去。遂良又上疏谏说：

“臣听说周代问安，来三次一定退下，汉朝的太视膳(侍养义母长辈的礼节)，五天才来。从前圣人的法，规模远大。礼说：男十岁门就读在教师门下，住宿在外边，是为他的学业盘算。然而古代的贵人，难没有慈心，减此私，是想使他成长自立。世俗人尚且还能这样，何况国君的太呢？自然应当天诵读诗篇，夏天依弦乐和奏而歌唱，亲近老师，察人间的各事情，适应君臣的理，即使举足伸远望，都听到雅的音乐声。好像一年的开始有，青天有日月，弘扬这一德，才太。在下考虑陛下德育三才，功绩包容九州，亲自树立太，天下没有不到喜乐自得的。既然说废黜糊涂的太册立英明的太，必须称得上是天下仰望的楷模，然而教育他成长的方法，确实十分错误。太不离父母，平常住在内，对师傅的说教不痛快，蔑视经书谈论的理。况且朋友不能往，往必定有怨恨；父不可以溺，溺或许会产生过失。希望陛下远看殷、周的法，接近遵行汉、魏的方法，不可以上改变，这事必须一步一步地逐渐改变。试着以十天作为一个阶段，一半的时间送回中，使太专心学习技艺来泽自己，在天下传布好的名声，那么微臣即使是死了，也可以说是和活着一样。”

太宗听从了他的意见。

遂良前后谏奏及陈便宜书数十以上，多被太宗采纳。那年，担任银青光禄大夫。贞观二十一年(647)，遂良以本官的份检校大理卿，不久为父亲居丧期满。第二年，起用他恢复旧职，接着被拜为中书令。

贞观二十三年(649)，太宗病危，召遂良及长孙无忌他的卧室，对他们说“：你们忠直刚烈，朕都记在心里。从前汉武帝委托霍光，刘备委托诸葛亮，朕的后事一切都委托你们。太仁义忠孝，是你们全都知的，必须竭诚尽力辅佐太，永远保住宗庙社稷。”又回对太说：“无忌、遂良在，国家的事，你不用担心了。”于是命遂良草拟诏书。宗即位后，赐遂良河南县公的爵位。永徽元年(650)，晋封为郡公，不久因犯事京任同州刺史。永徽三年(652)，征拜遂良为吏尚书、同中书门下三品，监修国史，担任光禄大夫。当月，又兼任太宾客。永徽四年(653)，代理张行成任尚书右仆，依旧主持政事。