。桓玄把王诞转任到广州，亲朋故友都离开了他，只有张邵追随，着泪送别。当时又是战又是饥荒，张邵又给王诞的妻送粮送衣。

桓玄篡位称帝，张邵的父亲张敞以前当尚书，因为回答桓玄提问有错误，被降为廷尉卿。到武帝讨伐桓玄，张邵劝张敞向刘裕表示忠心。武帝非常兴，叫人在张家门边写上命令：“有犯张廷尉的，以军法置。”后又用张敞为吴郡太守。王谧当扬州刺史，选张邵当主簿。刘毅的官职仅次于刘裕，又结人才，喜好名士，当世名无不到门下拜访，只有张邵不去。有人问他为什么这样，他答：“我们的主公刘裕是改造国家的伟人，何必多问呢？”刘穆之把这事告诉刘裕，祖更加信任他，转他为太尉参军，兼任长贼曹。卢循袭击京城，祖叫张邵守卫南城，当时百姓到河边观望敌人的态势，武帝很奇怪，便问张邵，张邵说：“如果殿下没有从南燕回来，百姓怎么敢观望，今天他们再也不会害怕敌人了。”不久张邵补任州主簿。

张邵一心扑在工作上，力过人，到武帝杀刘藩时，张邵当时在西州值夜班，当晚他便通告手下官员说；“大军要大规模讨伐，你们各位应该修理好船舶和仓库，到明日清晨办好。”第二天天亮，武帝叫来各省的主簿参军，一下便都到了，很是惊异，问他们为什么来得这么快，那些人回答说：“这是昨夜张主簿叫我们准备好的。”武帝说：“张邵可以说和我同忧共患。”义熙九年(413)，刘裕的世开始建立征虏府，补任张邵为录事参军，转任中军将军，又迁任谘议参军，兼领记室的职务。

十二年(416)，武帝北伐，张邵请见武帝说：“人生是很危险而脆弱的，所以应该想远一，刘穆之如果发生意外，谁能代替他？主公功业到如此地步，如果刘穆之死了的话，事情将会怎么样呢？”武帝说：“这自然要刘穆之和你来理了。”青州刺史檀祗镇守广陵，当时滁县中有一些亡命之徒汇集，檀祗率兵袭击，刘穆之恐怕因此惹麻烦，准备派军队。张邵说：“檀韶占据中游，檀济为北伐先锋，如果怀疑心暴来，恐怕会招致意外，应该先派人劳檀祗，观察檀祗的真意。”不久檀祗果然没有妄动。刘穆之去世时，朝中人心浮动，朝臣们都想下诏用司徐羡之代替刘穆之。张邵说：“朝廷和大府中的事，都请教徐羡之，其余应该向北(刘裕在北)请示然后再定夺。”武帝很赞赏他临事不，得大臣统的风度。十四年(418)，武帝想用世镇守荆州，张邵谏说：“世是非同一般的，全国人都看着他，所以不应该在外藩，我这里要以我的老命请求不要作这个任命。”武帝采纳了这个建议。

文帝当中郎将、荆州刺史时，用张邵当司，兼任南郡相，府中大小事都由张邵决定。武帝称帝，张邵因是开国大功臣，被封为临沮伯。又分荆州一分，设立湘州，以张邵为刺史。并将设立军府，张邵认为长沙是内地，不是用兵的地方，设立军府会妨碍政事，不利朝廷。武帝听从他的意见。谢晦造反，派人送信给张邵，张邵没有拆信，直接派人上武帝。

元嘉五年(428)，张邵转任征虏将军，兼任宁蛮校尉、雍州刺史，加官都督。当初王华和张邵有间隙，到王华成了朝廷显要人时，张邵的亲戚朋友为他担心。张邵说：“王陵(王华字)公正宽容，必然不会因私仇妨碍正经事。”这次雍州刺史的任命，实际正是王华提议的。张邵到襄后，建立长长的围岸，修理堤坝塘堰，增加垦田几千顷，本郡百姓因此而变得富足。丹江、淅川二江蛮人多次侵略，张邵诱引蛮人首领，趁大会时杀了他们，并且袭击蛮人落。张邵既然欺骗了蛮人落，蛮人到造反，陆两路都被截断。他的儿张敷到襄看他，准备回京，蛮们想乘机抓住张敷。恰遇蠕蠕国派使者朝贡，蛮人以为是张敷，于是抓住了使者，张邵因此事被降为扬烈将军。