以清廉有才而著称。后调离任西安知府，遇到灾年，他打开粮仓取十万石粮救济贫民，偿还时区别对待，到官府不受损而百姓得到救济。

成化初年，主门上报政绩突应当受到表彰的官员，知府有十人，而余俊位居第一。由于林聪推荐，他被任为陕西右参政，一年多后提升为右布政使。六年(1470)，转为左布政使，调任浙江，刚刚半年，授他右副都御史官职，巡抚延绥。

在这以前，巡抚王锐从长远考虑请求沿边境筑墙建堡，工程还未动工就被否决了。余俊上疏说“：三边只有延庆平坦开阔，利于驱急驰。寇屡次侵，俘获边民向导，一直河驻扎放牧。从此寇竟居于内，我们反而屯于外，在沿边筑墙建堡是当务之急。况且现在旧界石还在，山多悬崖陡，依照山形，随着地势，有的铲削，有的垒筑，有的挖壕沟，延绵相接，形成边墙，这对于边墙工程来说较为方便。”尚书白圭以陕西百姓正贫困，奏请缓兴工程。不久寇孤山堡，又侵榆林，余俊先后与朱永、许宁一起击败寇贼。

这时，寇占据河，连年派遣大军征讨，没有什么实际效果。成化八年(1472)秋，余俊说：“现在征讨河的兵驻扎在延绥的有八万，牲饲料靠内地，如果今年冬天敌寇不向北退却，又需要准备下一年的军需供应。姑且用今年的数额约略估计，米豆需银九十四万两，草料需银六十万两。每人运米豆六斗、草四束，应该动用四百零七万人，大约费用八百二十五万两。公私冗杂繁到这地步，怎能不改变谋划！臣先要求筑墙建堡，诏书说要等事情安定后再行，请求于明年夏敌寇人疲乏时，役使陕西运粮百姓五万，供给，兴建工程，要求两个月完工。”白圭仍然持他的意见，阻挠兴建工程，皇帝认为余俊说的对，下令迅速行此项工程。

余俊先因军功升为左副都御史，第二年，又因捣毁红盐池巢有功，升为右都御史。由于巢被捣毁，贼寇因此远徙，不敢再在河居住。内地忧患渐渐平息，余俊就全力兴建工程。东起清营，西抵池，连绵一千七百七十里，凿崖筑墙，又在其下挖濠沟，一直连绵不绝。每隔二三里建置。。望台、崖栅以便巡视警戒。又在崖栅空筑矮墙，横一斜二如箕状，用来。。望和避箭。总共建筑城堡十一个、边墩十五个、小墩七十八个、崖栅八百一十九个，动用士兵四万人，不到三个月就完工了。墙内的土地全分给军队屯垦，一年收获粮六万石有余。成化十年(1474)闰六月，余俊向朝廷一一禀报工程之事，因为母亲年老恳求回乡，朝廷安挽留他，没有批准他返乡的请求。

当初，绥德州是延绥镇的地方官署所在地，所辖米脂县、吴堡县都在镇外，敌寇用轻骑来劫掠，等镇兵发觉而去追击，总是追赶不上，敌寇往往得利而去。自余俊将镇迁徙到榆林，增加守卫，扩大城墙安署军队，攻守械都俱备逐渐成为重镇，敌寇来掠夺次数渐渐少了，军民得以平安耕放牧。

成化十二年(1476)十二月，余俊调抚陕西，在他任西安知府时，曾因了解到居民为质碱发苦不能饮用而发愁的情况，他凿渠引城西贑河的河，解决人民的饮问题。时间长了渠往外漫而无法排，此时，他主持在城西北开凿渠排，渠经汉代旧城到达渭。对国家和百姓更加有利，号称余公渠。又在泾凿山引，溉农田千余顷。打通到南山的路，直达汉中，方便来往的旅客。对于毁塌破旧的学校、公署全补修一新。上奏章免除岷州、河州、洮州三卫的戍守，南方的兵卒一万多人。更换了南北戍的兵卒六千多人，让他们各自戍守本土。岷州栗林羌反叛，俊埋伏军队突然击，将其击败逃走。

成化十三年(1477)，朝廷召还余俊任兵尚书。他上奏章申述明确条例十项，又列立军功悬赏等级，由此朝廷内外有章可循。缅甸酋长卜刺狼企图夺取思洪发、贡章地，找借向朝廷要求。俊说不能答应，朝廷谕止了卜刺狼夺地的企图。贵州巡抚陈俨等因为播州苗人暗中起事，请求调湖广、广西、四川兵五万，会同贵州兵一起围剿。俊说贼在四川，而贵州请求征讨，是为邀功，上奏章止息这件事。当初，俊疏论陈钺击杀贡的夷人之罪，宪宗由于汪直的缘故宽恕陈钺。陈钺在汪直面前多方陷害余俊，时逢余俊因母亲去世回家守丧，才免遭陷害。

余俊建造的榆林边镇城墙，有人怀疑用沙土建造容易倒塌，敌寇来不能依靠。到成化十八年(1482)，寇侵内地，许宁等追逐的敌寇被城墙濠沟所困，四跑而不了城，于是被打得大败，边镇的人更加思念俊的功劳。

三年服满，宪宗授他尚书，不久加封太太保。成化二十年(1484)，兼任左副都御史，总督大同、宣府的军务。这年冬天返回朝廷。第二年正月，星相有变异，余俊陈述时弊八，宪宗大多采纳。没多久，又到边境巡视。