晋封同轨郡公爵。

后坐罪免职。

不久，拜授岚州刺史。

碰上大修长城的劳役，有诏让卫玄监督。

不久代理朔州总，后任卫尉少卿。

仁寿初年，山獠造反作，卫玄京当资州刺史，以镇守安抚那里。

卫玄到任后，当时山獠正在围攻大牢镇，卫玄单人独骑到獠人的兵营，对獠人说：“我是刺史，奉皇上圣旨来安抚你们，不要怕。”诸贼不敢动。

卫玄于是晓以利害，獠人的渠帅受了动，解围而去。

前后归顺的獠人有十几万人。

祖十分兴，赐卫玄缣纟采二千匹，授他为遂州总，仍让他安抚剑南。

炀帝即位，又调他当卫尉卿。

夷人、獠人舍不得他走，都来送行，几百里的路上，送者不绝。

卫玄晓谕他们说：“天下诏书调我回去，我不能久留。”于是与他们告别，夷人、獠人挥泪而去。

过了一年多，转任工尚书。

其后拜授魏郡太守，仍旧担任工尚书。

炀帝对卫玄说：“魏郡是有名的都市，是要冲之地。

那里的百姓很刁，所以麻烦你去治理。

这个郡离首都并不太远，你应该常回京师，参谋朝政。”赐他缣纟采五百段，而派他去。

不久，拜授右侯卫大将军，代理左侯卫大将军之事。

大业八年(612)，转任刑尚书。

辽东战争中，他代理右御卫大将军，率增地。

当时各路人大多师不利，只有卫玄所全回来。

拜授卫玄为金紫光禄大夫。

大业九年(613)，炀帝到辽东，派卫玄与代王杨侑留守京师，拜授卫玄为京兆内史，仍旧担任刑尚书，同意卫玄见机行事，又令代王待卫玄为老师。

碰上杨玄围东都洛，卫玄率领步兵、骑兵七万人增援东都。

队来到华，挖了杨素的坟墓，焚烧了他的骨，把坟地全铲平了，以显示必死的决心给士兵看。

了潼关，有人担心崤山、函谷关之间有埋伏，请从陕县沿黄河东下，直奔河，以攻叛军的背后。

卫玄说：“以我看来，这一计谋不是杨玄那小所想得来的。”于是击鼓前。

过了函谷关，真如所预料的没有伏兵。

卫玄于是派武贲郎将张峻为疑兵，走南，卫玄率统大队奔向城北。

杨玄迎战，卫玄边战边走，驻军于金谷。

他在军中扫地以祭祖说：“刑尚书、京兆内史臣卫文升，冒昧地昭告于祖文皇帝的神灵：自从皇家承受天命，到现在三十多年，武功文德，渐渐影响海外。

杨玄辜负圣恩，自作蛇豕，蜂飞蚁聚，犯我王师。

臣下我两代受恩，一心侍奉国家，统率熊罴之众，志在剿灭逆党。

如国运尚在，应让丑类冰碎；如国运完了，则让我老臣先死。”他语气抑扬，三军动，无不呜咽。

当时卫玄寡不敌众，与贼人频频作战，频频失利，死伤大半。

杨玄率全兵来攻，卫玄苦战，贼人稍稍退却。

卫玄而驻军北芒。

刚好宇文述、来护儿的援兵赶到，杨玄惧怕，因而向西逃走。

卫玄派通议大夫斛斯万善、监门直阁庞玉两人为前锋，追赶叛军，赶到阌乡，与宇文述等合击破敌。

炀帝回到，调卫玄到行去。

炀帝劳他说：“你是国家的大臣，使我无西顾之忧。”于是下诏书说：“近来妖雾充斥，搅动关、河。