赐给张衡宅旁边的土地三十顷，良一匹，金带、缣纟采六百段、衣服一、御用餐一。张衡决推辞，炀帝说：“天临幸这里，就是为了这个，不足以辞谢。”张衡又奉献给炀帝，炀帝命令赏赐给公卿，下至卫士，没有不沾沐皇恩的。

张衡认为原有的诸侯王府第，恩都没有能够和他相比的，很是自我骄傲矜贵。第二年，炀帝临幸汾。这时，炀帝想扩大汾，命令张衡和纪弘整准备图纸上奏。张衡寻找机会谏，以连年劳役、百姓疲惫为理由请求炀帝不要再大兴土木。炀帝非常不兴。后来曾经目视张衡对侍臣说“：张衡自称是照他的计谋，让我获得了天下。”当时，齐王杨。。失去了炀帝的，炀帝令人秘密地搜求齐王的罪行。有人诬陷杨。。违犯制度，将伊阙令皇甫诩带汾。又记录先前临幸涿郡和祭祀恒山时，当地父老去谒见，衣冠不整。炀帝指责张衡为宪司而不能加以匡正，将张衡贬京城任榆林太守。

第二年，炀帝又临幸汾，张衡督促工役修筑楼烦城，因此谒见炀帝。炀帝厌恶张衡没有瘦下来，认为他心中不记念过失，因而对张衡说：“你太胖了，应该回到榆林郡去。”张衡又到了榆林。不久又敕令张衡去江都监督工役。有人到张衡那里告江都的监工，张衡不予受理，回去把诉状给了监工，那个告状的人因此而受到监工的严厉报复。礼尚书杨玄使到江都，那人到杨玄的住喊冤。杨玄认为张衡这样很不对。等到二人相见，张衡对那事情只字不提，又先对杨玄说：“薛衡真是被冤枉死的！”杨玄把这些事情都上报给了炀帝。江都郡丞王世充又上奏张衡不断地减少每顿饭的。隋炀帝大怒，把张衡锁械到江都刑场，准备斩首。接着就除去名籍，放回故里。炀帝命令其亲族时常观注张衡的所作所为。

大业八年，炀帝从辽东回到京城，有人妄言张衡心怀怨恨，诽谤朝政，炀帝就将张衡赐死家中。临死时，张衡大声说：“我替别人了什么事情，指望长久活下去！”监督行刑的人起耳朵，督促他赶快自尽。唐祖武德初年，朝廷认为张衡赐死不当其罪，追赠大将军，南郡公，谥号为忠。有名希云。

裴蕴，河东闻喜人。祖父裴之平，父裴忌，《南史》都有传。裴忌在陈朝，与吴明彻一同被周朝俘虏，周朝赐爵江夏公，隋十多年而死。

裴蕴聪明善辩，有官吏之才，仕陈朝，历任直阁将军、兴宁令。因为父亲在北朝，裴蕴私下上表给隋文帝，请求作为内应。等到陈朝被消灭，文帝接见江南投降的官员，依次到了裴蕴，因为裴蕴早就有归顺隋朝之心，越级授为仪同。仆赹不明白文帝的旨意，谏阻：“裴蕴对国家没有功劳，幸超过同类人，臣认为不可。”又加授上仪同，赹又谏阻。文帝说“：可以加授开府。”赹才不敢再说。即日升任开府仪同三司，礼仪赏赐优厚。历任洋州、直州、棣州三州刺史，都有好名声。

大业初年，考绩连年最佳。隋炀帝听说裴蕴政绩甚佳，征召裴蕴京任太常少卿。当初，隋文帝不喜音乐技艺，派遣弘审定音乐，不是正声清商乐和九四舞之类的，都剔除来，回归民间。到了现在这情况，裴蕴揣测炀帝的意思，奏请收罗天下周、齐、梁、陈四朝的声乐之家的弟，都作为乐。六品以下以至于平民百姓，有擅长音乐和倡优百戏的人，都隶属太常。自此之后，奇异的技艺，的音乐都汇集在乐府官署，皆设置博士，递相教习传授，乐人增加到三万多人。隋炀帝十分兴，升任裴蕴为侍郎。

当时尚承接文帝时的和顺升平，禁忌罗网宽疏，籍人多有疏漏。有的年已成丁，还诈称为小儿，有的未到老年，已免除租税。裴蕴历任刺史，原就知这情况，因此逐条奏闻，皆令查验相貌。如果有一人不属实，就将负责的官吏免职，乡正、里长都发到远方。又准许百姓互相告发，如果查有一丁隐瞒，就让被揪的人家代为输奉赋税和劳役。这一年是大业五年。名个州郡合计增加人丁二十四万三千，新增加六十四万一千五百。隋炀帝临朝观览奏状，对百官说：“前代没有好人，致使现这欺瞒冒昧之事。如今增加百姓人都能够属实，全都由于裴蕴一人费心思。古人说‘得到贤才而治理’，检验于事实确实如此。”因此，裴蕴逐渐受到信和重用，任京兆赞务，纤毫之事都得到揭发检举，官员百姓都惊恐忌惮。

不久，裴蕴被擢升为御史大夫，和裴矩、虞世基一起参与掌机密。裴蕴善于察皇帝的细微之意，如果想归罪某人，就枉法徇情，铸成其罪名；如果想宽恕某人，就依从轻的法典，因而就把他释放。自此之后，大大小小的案件都付裴蕴审理，刑、大理寺都不敢与他争夺，举动必定秉承他的意思，然后才作决断。裴蕴亦是机善辨，论述法典刑理，若悬河，不论刑罚轻重，都是由裴蕴一决定，解剖析理，明辩锐，当时的人不能有什么疑问。

杨玄造反，炀帝派遣裴蕴推问杨玄的党羽，对裴蕴说：“杨玄一声呼喊，跟从的人有十万。越发知天下的人不要求多，多了就相聚为盗。不全加以诛杀，就无法惩戒后人。”裴蕴因此就用严刑峻法加以审理，杀戮数万人，其家产皆籍没官。炀帝大加赞赏，赐给裴蕴十五个婢。