芳死了，王敬伯对裴谌说：“咱们背井离乡，抛弃了世间豪华富贵的生活了这山老林，听不见妙的音乐，吃不到味的佳饮，看不到丽的女。离开华的府第住茅屋，以享乐为耻，自甘寂寞过着如此清苦的生活，这一切都是为了能得了，成了仙，有朝一日能骑鹤驾云到蓬莱仙去过上神仙的日。就算成不了仙，也希望能长生不老与天地同寿。然而如今仙境渺渺不知在哪里，长生也没什么指望，我们如果继续在这里苦熬，只能死在山中了。我打算立刻山去重新过豪华的生活，乘穿轻裘，欣赏音乐亲近女。游遍京城胜地，玩够了再去追求功名宦位，以求在世间显扬名。纵然不能饮宴于天瑶池，不能乘着天神龙听凤歌看鸾舞，不能日日与神仙为伴，但是在人世上居官，穿紫袍腰系金带，每天和官显贵在一起，还能使自己的图像挂在天为功臣特建的，‘凌烟阁’上，该多么荣耀。咱们为什么不回去呢？何必白白死在这空山里！”

裴谌说：“我早已看破人间的荣华富贵如过烟云。大梦初醒的人怎么可能再回到梦境中去呢？”

王敬伯任凭裴谌怎样挽留也不听，一个人了山。

当时是唐太宗真观初年，王敬伯不但恢复了原任的官职，而且在旧职的级别上被新任为左武卫骑曹参军。大将军赵朏将自己的女儿嫁给他，不到几年他就升任为大理寺的廷评，穿上了红袍。

有一次他奉命使淮南，坐船走到邮，当时他的船队仪仗森严，威风十足，江上的民船都躲着不敢走。这时天下着小雨，忽然有一只小渔舟现在官家船队前面，船上是一位斗笠披蓑衣的渔夫。划着桨很快地驶过船队，像一阵疾风。王敬伯心里很不兴，心想我是朝里派的使臣，谁都对我敬畏回避，怎么这个渔夫敢为此放肆？仔细一看。那渔夫意是当年和他一起在山中修的裴谌。

于是赶快派船追上去。把裴谌追到后，王敬伯命手下人把裴谌的渔船连在自己大船的后面，请裴谌上了大船，舱坐下，握着裴谌的手说：“老兄当初持不和我一起山，抛开了世上的功名利禄，一意修，但到如今你又得到了什么呢，不还是个江上的渔夫吗？所以我看修的事如同捕风捉影，太坑人了。古人尚懂得人生苦短抓享乐，甚至着灯烛不让夜晚虚度，何况青年少白白扔掉岁月呢？我山后才几年就到了廷尉评事，由于我办案公正受到朝廷赞赏，天特赐我穿红袍系金腰带。最近淮南有一件疑案一直定不了案，案情上报到大理寺，皇上命令派一个练的官员到淮南复审疑案，我被选中，所以才有这次淮南之行。我现在虽然还算不上飞黄腾达，但比起山中的老翁还是要得多吧。裴兄你却仍像从前那样甘心在山中埋没了自己，我真是不能理解啊！不知裴兄需要什么东西，我一定满足你的要求。”

裴谌说：“我虽是个山中的平民，但早把心寄托于闲云野鹤，我怎么会像《庄》中说得那样。让只腐烂的死鼠引起我的兴趣呢？我像鱼一样在江里游，你像鸟一样在天上飞，各有各的乐趣，你何必向我炫耀你那些浮名微利呢？人世间需要的东西我都非常充足，你能送我什么呢？我和山里的朋友一同到广陵卖药，也有个歇脚的地方。在青园楼的东边，有一个几里宽的樱桃园，园北有个行车的门，那就是我家。你公余之后如果有空，可以到那里找我。”裴谌说完，就潇洒地离去了。

王敬伯到广陵十几天后，空闲时想起了裴谌的话。就去找裴谌，找到了樱桃园，果然有个车门，一打听，果然是裴家。门上领王敬伯往里去。起初周围荒凉，越走景越好。走了几百步后，又近了一个大门，门内楼阁重重，草繁茂，好像不是凡人住的地方。雾气笼罩，景无比秀丽，无法形容，阵阵香风袭人，令人神清气，飘飘然好像在云中。

王敬伯此时的心情也大大转变了，觉得官为宦实在没什么意思，自己的像只死老鼠一样卑贱，看他那些同僚也像蚂蚁一样卑微了。不一会儿，听见轻微的佩剑撞击的声音，两个青衣女来说：“裴郎来了。”

只见一个仪表堂堂衣冠华贵的人来到面前，王敬伯赶快下拜，抬一看，竟是裴谌。