，请以皇抚临州政，乃以孝武镇。及大举北侵，以玄谟为宁朔将军。前锋河，受辅国将军萧斌节度。军至碻磝，玄谟向台，围城二百余日。魏太武自来救之，众号百万，鼓鞞动天地。玄谟之行也，众力不少，械严，而专仗所见，多行杀戮。初围城，城内多茅屋，众求以火箭烧之。玄谟曰：“损亡军实。”不听。城中即撤坏之，空地为窟室。及魏救将至，众请发车为营，又不从。将士并怀离怨。又营货利，一匹布责人八百梨，以此倍失人心。及太武军至，乃夜遁，麾下散亡略尽。萧斌将斩之，沈庆之固谏曰：“佛狸威震天下，控弦百万，岂玄谟所当？杀战将以自弱，非良计也。”斌乃止。初，玄谟始将见杀，梦人告曰：“诵《观世音》千遍则免。”玄谟梦中曰：“何可竟也。”仍见授，既觉诵之，且得千遍。明日将刑，诵之不辍。忽传唱停刑，遣代守碻磝江夏王义恭为征讨都督，以碻磝沙城不可守，召令还。为魏军所追，大破之，矢中臂。二十八年正月，还至历城。义恭与玄谟书曰：“闻因败为成，臂上金创，将非金印之征邪？”

元凶弑立，以玄谟为冀州刺史。孝武伐逆，玄谟遣济南太守垣护之等将兵赴义。事平，除徐州刺史，加都督。及南郡王义宣与江州刺史臧质反，朝廷假玄谟辅国将军，为前锋南讨，拜豫州刺史。质寻至，大破之。加都督，封曲江县侯。中军司刘冲之白孝武，言玄谟在梁山与义宣通谋。检虽无实，上意不能明，使有司奏玄谟没匿所得贼宝，虚张战簿，与徐州刺史垣护之并免官。

寻为宁蛮校尉、雍州刺史，加都督。雍士多诸侨寓，玄谟上言所统侨郡无有境土，新旧错，租课不时，宜加并合。见许。乃省并郡县，自此便之。百姓当时不愿属籍。其年，玄谟又令九品以上租，使贫富相通，境内莫不嗟怨。人间讹言玄谟反。时柳元景当权，元景弟僧景为新城太守，以元景之势，制令雍土南顺上庸新城诸郡并发兵，讨玄谟。玄谟令内外晏然，以解众惑，驰启孝武，陈本末。帝知其虚，驰遣主书吴喜公抚之。又答曰：“玄谟启明白之日，七十老公反何求？聊复为笑，想足以申卿眉耳。”玄谟严，未曾妄笑，时人言玄谟眉未曾申，故以此见戏。

后为金紫光禄大夫，领太常。及建明堂，以本官领起尚书，又领北选。孝武狎侮群臣，各有称目，多须者谓之羊，短长瘦皆有比拟。颜师伯筼垂齿，号之曰衄，刘秀之俭吝，常呼为老慳。黄门侍郎宗灵秀躯壮，拜起艰难，每一集会，辄于坐赐灵秀服饮，前后相系，其占谢倾踣，以为笑。又刻木作灵秀父光禄勋叔献像送其家听事。柳元景、垣护之虽并北人，而玄谟独受老伧之目。凡诸称谓，四方书疏亦如之。尝为玄谟作《四时诗》曰：“堇茹供膳，粟浆充夏餐，包酱调秋菜，白醋解冬寒。”又一昆仑名白主，常在左右，令以杖击群臣。自柳元景以下皆罹其毒。

玄谟寻迁徐州刺史，加都督。时北土灾馑，乃散私谷十万斛千以赈之。孝武崩，与群公俱被顾命。时朝政多门，玄谟以严直不容，徙青、冀二州刺史，加都督。少帝诛颜师伯、柳元景等，狂悖滋甚，以领军征玄谟，侄咸劝称疾。玄谟曰：“避难苟免，既乖事君之节，且吾荷先朝厚恩，弥不得逡巡。”及至，屡表谏诤，又涕请缓刑去杀，以安元元之意，少帝大怒。

明帝即位，礼遇益崇。时四方反叛，玄谟领军前锋南讨，以脚疾未差，听乘舆。寻除车骑大将军、江州刺史，副司徒建安王休仁于赭圻，赐以诸葛亮甬袖铠。顷之，以为左光禄大夫、开府仪同三司，领护军将军，迁南豫州刺史，加都督。薨年八十二，谥曰庄公。

早卒，缋嗣。