就没有天理了。大王您要夺取天下，就别让好人灰心失望。”窦建德命令松绑，任命他为代理治书侍御史，他不接受。听见炀帝在江都被杀后，才替窦建德任黄门侍郎。窦建德灭亡后，唐朝任命他为景州录事参军。

太宗李世民登位，向他询问朝政大事，他回答说：“自古以来还没有像隋朝那样动的原因，怕是君主专制独裁、法纪日益混吧？再说一个大国的君主，亲自理日常事务，一天理十件，其中五件不恰当，就算另外五件确实妥善，跟理不恰当的综合起来评价又怎样呢？

日理万机，问题成堆，不亡国还等什么？

如果国君圣明臣得力，使各主官吏尽职尽责，那么在朝廷无为而治，谁敢冒犯？隋朝末年叛四起，真正要争夺天下的不到十人，其他的都是要保全自己等有君主现再听命令，这说明要背叛君主乘机牟利的人到底是少数，只是国君不能使他们安居乐业才被裹挟叛。凭着陛下的圣明，对隋朝危难的原因番研究，把它灭亡的教训作为鉴戒，一天比一天谨慎从事，即使是唐尧虞舜又凭什么超过？”太宗说“：好。”任命他为侍御史，后来改任给事中。

贞观四年(630)，诏令征调兵众劳役修建洛行乾殿，准备游幸东都。

张玄素上书说：“我想秦始皇凭借周朝的衰微，消灭六国，统一天下，准备传给孙万代，却到他儿的手里就灭亡了的原因，是满足嗜好追求望，以致违背天理伤害人民。百姓承受不了，只应厉行节约，减轻赋税，以作则，才能天下太平。

“如今游幸东都的时间还没确定，就提前大兴土木，外戚亲王到封地去，也会修建官府宅第，派收捐税征调劳役接连不断，就会使百姓疲惫失望，这是不行的原因之一。陛下从前平定东都时，曾把宽广的殿当作警戒都拆毁了，天下人心归向，齐声颂扬。怎能开始厌恶奢侈浪费后来又好雕饰华丽呢？这是不行的原因之二。陛下常说游幸不是当务之急，是白白耗费资财。现在国库的存粮不够两年用，又要兴建陪都的工程来招致怨恨，这是不行的原因之三。百姓在遭受战离以后，财已经耗尽，虽然蒙恩再生，情绪还没有稳定，怎能营建还没有游幸的陪都，重新耗费他们的力人力，这是不行的原因之四。汉祖准备建都洛，娄敬一番劝谏，当天就动到长安去。并不是不明白洛地中原，通方便人集中，但是地势赶不上关中有利，就不敢追求安乐。我想陛下消除隋朝的陋习，时间还不长，怎能巡幸东都让民心动不安？这是不行的原因之五。

“我曾亲见过隋朝建造殿，到豫章县采伐木材，两千人拖一木，用铁车毂，走不到几里路，车毂就损坏了，另外有几百人带上车毂跟着，一天走不了三十里路。一木的耗费，已达几十万个日工，推算一下其他各项就可知耗费何等大了。从前阿房建成了，秦朝就垮台了；章华台建成了，楚灵王的称霸企图也破产了；乾殿完工了，隋朝也分崩离析了。如今百姓的力人力还没有赶上隋朝，却驱使伤残的百姓，沿袭隋朝的弊端，我怕陛下的过失，比炀帝更为严重。”

太宗说：“你说我不如隋炀帝，比起夏桀、纣王怎么样？”张玄素回答说：“如果乾殿真的动工，都一样会天下大。

我听说东都刚平定时，太上皇诏令将不合制度的殿烧掉，陛下说砖瓦木料可以利用，要求送给贫寒人家，事情虽然没有如愿，天下百姓称为大德。现在又要在那里测地修建殿，这表明又要兴修隋朝一样的工程。不到六年时间，一会儿毁掉，一会儿修建，百姓会怎样议论呢？”太宗回对房玄龄说“：让各地到洛朝拜贡比较适中，我建乾殿，是想方便天下臣民。现在张玄素的意见是这样，假使以后一定要去，即便坐在天，怎能到辛苦？”立即停止了这项工程，赏给张玄素彩绢帛两百匹。魏征以刚直闻名，听到张玄素的话，赞叹说“：张公评论朝政，有谏止皇上的力量，可以说是真诚正直人的话啊。”