后来，汉朝用邑城引诱单于，派大军在邑两旁的山谷中埋伏，李广任骁（ｘｉāｏ，消）骑将军，受护军将军韩安国统领节制。当时单于发觉了汉军的计谋，就逃跑了。汉军都没有战功。四年以后，李广由卫尉被任为将军，雁门关攻匈。匈兵多，打败了李广的军队，并生擒了李广。单于平时就听说李广很有才能，下令说：“俘获李广一定要活着送来。”匈骑兵俘虏了李广，当时李广受伤生病，就把李广放在两匹中间，装在绳编的网兜里躺着。走了十多里，李广假装死去，斜看到他旁边的一个匈少年骑着一匹好，李广突然一纵上匈少年的，趁势把少年推下去，夺了他的弓，打向南飞驰数十里，重又遇到他的残，于是带领他们关。匈动追捕的骑兵几百名来追赶他，李广一边逃一边拿起匈少年的弓杀追来的骑兵，因此才能逃脱。于是回到汉朝京城，朝廷把李广给执法官吏。执法官判决李广损失伤亡太多，他自己又被敌人活捉，应该斩首，李广用钱赎了死罪，削职为民。

转间，李广在家已闲居数年，李广家和已故颖侯婴的孙一起隐居在兰田，常到南山中打猎。曾在一天夜里带着一名骑的随从外，和别人一起在田野间饮酒。回来时走到霸陵亭，霸陵尉喝醉了，大声喝斥，禁止李广通行。李广的随从说：“这是前任李将军。”亭尉说：“现任将军尚且不许通行，何况是前任呢！”便扣留了李广，让他停宿在霸陵亭下。没过多久，匈侵杀死辽西太守，打败了韩将军（韩安国），韩将军迁调右北平。于是天就召见李广，任他为右北平太守。李广随即请求派霸陵尉一起赴任，到了军中就把他杀了。

李广驻守右北平，匈听说后，称他为“汉朝的飞将军”，躲避他好几年，不敢侵右北平。

李广外打猎，看见草里的一块石，以为是老虎就向它去，中了石，箭都去了，过去一看，原来是石。接着重新再，始终不能再石了。李广驻守过各郡，听说有老虎，常常亲自去杀。到驻守右北平时，一次虎，老虎起来伤了李广，李广也终于死了老虎。

李广为官清廉，得到赏赐就分给他的下，饮总与士兵在一起。李广一生到死，二千石俸禄的官共四十多年，家中没有多余的财，始终也不谈及家产方面的事。李广材大，两臂如猿，他善于箭也是天赋，即便是他的孙或外人向他学习，也没人能赶上他。李广语言迟钝，说话不多，与别人在一起就在地上画军阵，然后比箭，中较密集的行列还是较宽疏的行列来定罚谁喝酒。他专门以箭为消遣，一直到死。李广带兵，遇到缺粮断的地方，见到，士兵还没有完全喝到，李广不去*近；士兵还没有完全吃上饭，李广一饭也不尝。李广对士兵宽厚和缓不苛刻，士兵因此他，乐于为他所用。李广箭的方法是，看见敌人近，如果不在数十步之内，估计不中，就不发。只要一发，敌人立即随弓弦之声倒地。因此他领兵有几次被困受辱，猛兽也曾被猛兽所伤。

没过多久，石建死了，于是皇上召见李广，让他接替石建任郎中令。元朔六年（前123年）李广又被任为后将军，跟随大将军卫青的军队从定襄，征伐匈。许多将领因斩杀敌人首级符合规定数额，以战功被封侯，而李广的军队却没有战功。过了两年，李广以郎中令官职率领四千骑兵从右北平，博望侯张骞（ｑｉāｎ，千）率领一万骑兵与李广一同征，分行两条路。行军约几百里，匈左贤王率领四万骑兵包围了李广，李广的士兵都很害怕，李广就派他的儿李敢骑往匈军中奔驰。李敢独自和几十名骑兵飞奔，直穿匈骑兵阵，又从其左右两翼突，回来向李广报告说：“匈敌兵很容易对付啊！”士兵们这才安心。李广布成圆形兵阵，面向外，匈猛攻，箭如雨下。汉兵死了一半多，箭也快用光了。李广就命令士兵拉满弓，不要放箭，而李广亲自用大黄弩弓匈的副将，杀死了好几个，匈军才渐渐散开。这时天已晚，军吏士兵都面无人，可是李广却神态自然，更加注意整顿军队。军中从此都很佩服他的勇敢。第二天，又去奋力作战，博望侯的军队也赶到了，匈军才解围退去。汉军非常疲惫，所以也不能去追击。当时李广军几乎全军覆没，只好收兵回朝。汉朝法律，博望侯行军迟缓，延误限期，应死刑，用钱赎罪，降为平民。李广功过相抵，没有封赏。