武功大夫。金军攻太原，宋军固守城池，朝廷命令制置副使师中率前往增援，驻扎在榆次。金朝用数万骑兵前来攻。张俊当时是队将，率队击，杀伤敌人甚多，缴获匹一千匹，请求乘胜邀击敌人。师中认为时日不利于作战，急忙下令后退到榆次自保。金军侦察到张俊的计谋不被采纳，发动全兵力包围榆次，攻更急迫。榆次被攻破，师中战死。张俊率所数百人突围而，边行边战，来到乌河川，再次同敌遭遇，斩杀敌人五百人。

金兵包围汴京，宗当时是兵大元帅，张俊率兵随从信德守将梁扬祖前往救援。宗看见张俊像貌雄伟英武，擢升他为元帅府后军统制，累次立功转任荣州刺史。建炎元年(1127)正月，随从宗到东平府。当时一势力盛的盗贼李昱占据兖州，命令张俊为都统制率兵前去讨伐。率领数名骑兵突敌阵奋勇战斗，各军将士争相奋击，于是歼灭贼盗。晋升为桂州团练使，不久又加任贵州防御使。

中书舍人张贗，从汴京带来钦宗藏在蜡中的诏书，命令宗把军队给副元帅返回京城，宗询问计策，张俊说“：这是金朝诡诈的谋。现在大王在外面，这正是天赐大王皇位，怎么随便前去？”请求兵，宗答应了他，于是来到济州。

庆贺钦宗生日，接近夜晚，有人报告宗，打算等元帅香时劫掠叛变。众人计议集中各军加戒备，张俊说：“元帅不去，谋自然就会破灭。”于是转移州府所在地。贼盗技穷，黎明时分，引军北逃，张俊率兵把他们追杀。晋升为徐州观察使。

宗因张俊功劳日益增多，升他为拱卫大夫。不久汴京被攻破，徽宗和钦宗被掳北去，人心惶惶不安，张俊恳切劝说宗即位，宗泪不答应。张俊说：“大王是皇帝的亲弟弟，人心归向，正当天下动不安时，不早日登上皇位，便难以满足民众的期望。”并且告诉耿南仲上奏劝说，耿南仲三次上奏。宗离开济州，张俊随从护卫。到达应天府，宗才即帝位。开始设置御营司，以张俊为御营前军统制，派他回京迎接隆佑太后。权充秦凤兵钤辖。不久迎接太后和六归来，任带御械。

当时江淮地区盗贼蜂起，张俊在淮宁征讨杜用，在镇江讨伐赵万、郭青，在杭州征讨陈通，在兰溪征讨蒋和尚等，都一一平定。解除他的虚衔，任真正的观察使。建炎二年(1128)，升任秦凤路步军副总，不久击破秀州贼盗数万人，俘虏徐明将他斩首。为武宁军承宣使。

宗到扬州，召集众将商议恢复中原事宜，张俊说：“当今敌人势力正于大之时，应该暂且南渡长江，占据长江作为天险，整军练兵，安定人心，等到国家形势安定下来后，再大举行动不晚。”张俊又请求把左藏库移到镇江。不久敌军突然来到，已近城郊，张俊急忙上奏整饰车，随从宗逃到临安。

苗傅、刘正彦反叛，张俊当时率兵屯驻在吴江县。苗傅等伪作诏令加张俊为捧日、天武四厢都指挥使，率三百人赶往秦凤，并命令其他将领率领剩下的军队。张俊知诏令是假的，拒不接受。全军上下人心惶恐，张俊劝说他们说：“应该到张浚那里请求决定。”于是立即率领所八千人到平江。张浚对张俊说及苗傅等人打算危害国家，涕泪纵横而下，张俊也大哭。张浚晓谕他以决定起兵反叛之罪讨伐苗傅，张俊哭泣下拜，并说“：这必须你用计谋辅助，不要惊动皇上。”吕颐浩到，张俊会见他，也泪说“：今天只有一死报效国家了。”刘光世率领所到来，张俊同他冰释前嫌。韩世忠从海上来到，张俊军一同他俱至。韩世忠为前锋，张俊率兵作为两翼，刘光世随后。在临平展开激战，苗傅等失败，打开城门逃跑。韩世忠、张俊、刘光世城中，在内殿拜见宗，宗称赞劳了很长时间，拜张俊为镇西军节度使、御前右军都统制，不久又任浙东制置使。

金兵分路，渡过长江攻浙江，杜充放弃建康，韩世忠从镇江退保江。宗到明州，张俊从越州率兵赶到。兀。。攻临安，宗乘坐楼船到温州，留下张俊在明州抵御敌人。宗赐给他亲笔书信说“：我没有你，那么谁肯率先倡议早登帝位；你没有我，那么将前功尽弃。应该努力抵御敌军，一旦成功，我将封你王位。”这年除夕，金军来到城下，张俊派统制刘宝同敌战，宋军稍稍后退，将党用、丘横战死，于是统制杨沂中、田师中、统领赵密都殊死搏斗。杨沂中舍船登岸苦战，殿前司将领李质率领班直前来助战，明州守将刘洪率领州兵在旁边击敌人，大败金军，杀死数千人。金兵呼叫派人到营中议事，张俊派一小校前往。金兵同他说，打算到越州请求投降，张俊拒绝了这一要求。戒令将士不要骄傲轻敌，考虑敌人必会重来，下令清野，多用小船装载弩，闭关自守。

建炎四年(1130)正月初一，忽起西风，金军乘此机会，果然又向明州发起攻。张俊和刘洪坐在城楼上，派兵掩击金军，双方伤亡大相当。金军奔逃，溺死于江中的不计其数，连夜营撤走，屯驻余姚，并且向兀。。请求增兵。过了七天，金军再次来到，张俊率兵台州，明州居民逃走的十占七八。

不久，江、浙一带盗贼蜂起，朝廷授张俊为两浙西路、江南东路制置使，率领所招降群盗，并命令后军统制陈思恭隶属他指挥，还下令两浙宣抚使周望以所兵隶属张俊，除刘光世、韩世忠以外，众将都由张俊指挥。六月，朝廷改御前五军为神武军，张俊改为神武右军，他本人任都统制，升为检校少保、定江昭庆军节度使。十月，浙西群盗全平定，张俊改任江南招讨使。