四年后，李广以卫尉作为将军，从雁门出击匈奴。匈奴兵势众多，击败了李广军，活捉了李广。匈奴单于一直都知道李广的贤明，下令要活捉李广。匈奴的骑兵活捉了李广，把他放置在两匹马的中间的网上，李广躺在网上。走了十多里，李广假装死去，偷偷看到旁边有一个匈奴骑兵骑着是匹好马，李广突然跳上匈奴骑兵的马，驱策着马向南跑了数十里，与所属部下回合，回到塞内。数百名匈奴骑兵追击李广，李广用夺来的匈奴骑兵的弓箭射杀追兵，终于逃脱了。李广回到汉朝，朝廷将李广交给官吏处置。官吏认为李广损失重大，又被敌人活捉，应当斩首，后来李广赎为庶人。
镇守边郡
过了几年，李广和退隐住在蓝田县的前颖阴侯的孙子灌强常到南山中打猎。曾经在一天夜里，李广带着一名骑兵外出，跟别人在田间饮酒。回来到了霸陵亭，霸陵尉喝醉了，呵斥阻止李广。李广的从骑说：“这是前任李将军。”霸陵尉说：“现任将军尚且不能夜间通过，何况是前任的呢！”就让李广住宿在霸陵亭下。不多久，匈奴入侵辽西，杀太守，打败韩将军。韩将军转移到右北平，死了。于是皇帝任命李广为右北平太守。李广请求霸陵尉与他一起赴任，霸陵尉来到后李广就杀了他，然后上书自行谢罪。李广在右北平郡，匈奴都称呼他为“飞将军”，躲着李广，数年不敢入侵。
苦战无功
郎中令石建去世了，于是皇上征召李广接替石建作郎中令。元朔六年，李广又调任为将军，跟随大将军卫青的军队从定襄郡出击匈奴。各将领多有杀敌俘敌达到标准因功封侯的，而李广的部队没有功劳。
三年后，李广以郎中令的身份率领四千骑兵从右北平出发，博望侯张骞率领一万骑兵和李广同行，分两路走。走了大约几百里，匈奴左贤王带领四万骑兵包围李广，李广的士兵都很恐惧，李广就派他的儿子李敢快马冲击敌人。李敢独自带了几十名骑兵飞奔而去，直穿匈奴骑兵的包围圈，抄出敌军的左右两翼而回，报告李广说：“匈奴人容易对付。”士兵才安定下来。李广布成圆形阵势，面向着四外，匈奴猛攻他们，箭下如雨。汉兵死亡的超过一半，汉军的箭也快用完了。李广便命令士兵把弓拉开，不要放箭，李广亲自用大黄弩弓射敌人的副将，射死了几个，匈奴人渐渐松懈。恰巧天色黑了下来，军官士兵都面无人色，可是李广的神气同平常一样，更加精神振奋地指挥军队。军中士兵很佩服他的勇气。
第二天，继续奋力战斗，张骞的军队也到了，匈奴军队才解围而去。汉军疲乏了，不能去追击。这时李广几乎全军覆没，只好收兵回去。按汉朝的法律，张骞耽误了预定的日期，当处死刑，出钱赎罪，降为平民。李广的军功和罪责相当，没有封赏。
后悔杀降
李广曾和星象家王朔私下闲谈说：“自汉朝攻匈奴以来，我没一次不参加，可各部队校尉以下军官，才能还不如中等人，然因攻打匈奴有军功几十人被封侯。我不比别人差，但没有一点功劳用来得到封地，这是什么原因，难道是我的骨相不该封侯吗？还是本命如此呢？”王朔说：“将军回想一下，曾有过悔恨的事吗？”李广说：“我任陇西太守时，羌人反叛，我诱骗他们投降有八百多人，我用欺诈手段一天把他们杀光了。直到今天我最大的悔恨只有这件事。”王朔说：“能使人受祸的事，没有比杀死已投降的人更大的了，这也就是将军不能封侯的原因。”