：“房-有才，此时大刚半，正在用人之际，朝廷不应罢免大臣。”

杜甫上年便因为房-说话，招得肃宗不快，这一来越发怒，几乎把他下在牢里，从此不再看重杜甫。房-也被罢免，为-州太守而去。杜甫被人看成是房-党羽，由此便蹭蹬下来不提。

杜甫回京之后，仍任左拾遗，每日去往门下省承直，以前所僚友知好重又聚在一起。最可喜是好友岑参新任右补闷，在中书省任职，日常相见，同在一起作那文酒之，所得官俸也颇够用。说日过得满好，偏偏遇上二次大之后关辅大闹饥荒，比上次灾情更重，又因房党为时所嫉，在朝不久仍又为华州司功。

杜甫在华州司功任上过了半年，渐觉无聊。这日忽起思乡之念，想趁空闲回到洛探望一下他战后的故乡，一个人背着一个小行李卷，往东走去。行经潼关上，见两边都是山崖石，十分峻。登一望，见来路是条山谷，前面不远便是僮关。一路都是山崖峰峦，山上下到都有黑自闪动，耳听喧哗呐喊和开山击石之声隐隐传来，空谷回音甚是震耳。等到下面，再往前走没有几步，便又听后面车行人奔驰吆喝之声接连不断。停步一看，后面来了好些满载石块的骡车，还有好些人三五一伙，分抬着大小山石，负重吆喝而过。一个个累得气吁吁，上汗珠直往下滴，好似吃力已极，不胜劳苦。最奇是还有几个老年妇女也在其内。再往前走，见有好些人正在开山取石，地下搭着很简单的草棚，老少都有，吃的东西糙非常。向人打听，才知内中杂有草树，有的业已饿病，躺在棚里，不已。一个为首的官吏正在往来查看，不时向众喝骂。杜甫想起：“自从那年哥舒翰被安禄山贼兵打败，潼关失陷以后，朝臣要上表章修建僮关，朝廷均未答应，此时忽然这样大举，又当年荒时节，岂不多累良民遭殃！”便把那官吏拉到一旁，问他何故？

那官吏说：“自从安一战我军大败，郭节度决计筑城防贼，因为年景不好，筑城的十九都是兵将，征用的民夫并不甚多。又因我军粮不足，这应役的丁壮必须自带粮，由那舍不得亲人的全家跟来，闹得这些民夫除开山取石筑城之外，还要到挖掘草树，所以一个个都那么苦弱不堪。”

杜甫听了好生愤慨，先到关前仔细察看了一阵形势，随到前面人家借了纸笔，写了他的名作“三吏”的一篇《潼关吏》。

杜甫因听传言，陇西一带年景较好，容易求，便和家人商计，带了全家往西走去。本意只要找到一个稍微能够不愁吃的所在，便安居下来。先到秦州，连找了几，想在西枝村建一草堂暂居，没有如愿。呆了些日，又往西走。一路登山越，苦受颠连，勉挨到同谷县，才得把脚停住，歇息下来。可是全家衣还是艰难，老想闹两亩薄田自己耕，终未如愿。迫于无奈，于乾元二年十二月一日又由陇右西行，想往成都逃荒。最后展转跋涉，拖着一家人到了剑门，走上川的栈。又行了两月，连经许多艰苦跋涉，才得到达成都。总算严武念旧情长，相待颇优。不久，仗着严武相助，在成都西门外浣溪上经营了一所草堂，又置了几亩田，这才安居下来。有时并往附近各县走动一下。日常无事便和当地田夫野老往，料量晴雨，共话桑麻，倒也安然自得。严武还特地到浣溪看望他几次。有时也把杜甫接到家中住上些日。本来相甚善，只是这宾主二人一个气度较小，不能容，一个情刚猛。表面上情厚，无异骨，因为杜甫过于简略，不拘小节，说话又太直率，严武有时忍耐不下，便气在心里。二人还互相取笑，往往把话说僵，彼此都有些难堪，心中不无介介。只是二人都未发作来。

代宗宝应元年，严武奉召还朝，杜甫送他到了绵州方始作别。杜甫：“我依人作嫁，全靠老弟相助照应才得安居，季鹰一走，我又飘泊无依了。”