李广一生前后与匈奴作战四十多年，却始终得不到封侯，而当年同他一起为郎中令的堂弟李蔡，人品才能不及中等，名声也远在李广之下，却连连得封，在汉元朔五年已经为轻车将军，后封为乐安侯，甚至在汉元狩二年(公元前121年)代替公孙弘为丞相。李广的许多部下也多被封侯，而李广却未得爵邑，官职也没有超过九卿。

有一次，李广与著名的中大夫东方朔交谈，说：“自击匈奴而广未尝不在其中，而诸部校尉以下，才能不及中人，然以击胡军功取侯者数十人，而广不为后人，然无尺寸之功以得封邑者，何也？岂吾相不当侯邪？且固命也？”

东方朔说：“将军您想想，难道做过什么有悔恨的事情么？”

李广想了想说：“我为陇西太守时，羌族人造反。我诱降了他们之后，却又杀死了他们。至今最大的悔恨只有这事。”

东方朔说：“罪过，没有比杀已降的人更大了！这就是你不得封的原因。”

汉元狩四年(公元前119年)，大将军卫青与骠骑将军霍去病率大军深入漠北打击匈奴。李广多次请求随军出征，汉武帝认为他年老了，因此未用他。直到后来才被任命为前将军，随卫青出征。出塞后，卫青得知了匈奴伊稚斜单于的驻扎地，决定自率精锐部队与公孙敖一同袭击伊稚斜单于，因此命令前将军李广与右将军赵食其从东路出击，以夹击匈奴。

由于东路汉军行道迂回且远，水草极少，不利于行军。于是李广亲自请求为先锋，说：“臣部为前将军，今大将军乃徙令臣出东道，且臣结发而与匈奴战，今乃一得当单于，臣愿居前，先死单于。”可是卫青曾暗中受到汉武帝的嘱咐，认为李广年老又命数不好，不要让他与匈奴正面对阵，因此卫青不接受他的请求，并命令长史下道文书，让李广赶快到所在部队去，照文书说的办。

于是，李广没有向卫青告辞就动身了，内心极其恼怒地回到营中，领兵与右将军会合，从东路出发。部队因无向导而迷失了方向，落在大将军卫青的后面，耽误了约定的军期。在随后爆发的著名“漠北之战”中，李广与赵食其未能及时赶到，卫青当机立断，创造性地运用车骑协同的新战术，命令部队以武刚车“自环为营”，以防止匈奴骑兵的突然袭击，而令五千骑兵出击匈奴。匈奴伊稚斜单于乃以万骑迎战，结果大败。此战卫青率汉军持续追击匈奴二百余里，俘斩敌军一万九千余名，伊稚斜单于趁夜幕跨上一匹善于奔跑好马，仅带数百壮骑杀出重围向西北方向逃去。李广却与此次胜仗无缘。

回师后，卫青派长史拿了干粮酒食去送给李广，顺便问起李广等迷路的情况。李广正在懊恼，不予回答。于是卫青又派长史紧催李广的幕府人员前去审问。李广说：“诸校尉无罪，乃我自失道。吾今自上簿。”

李广回到军部后对部下说：“广结发与匈奴大小七十余战，今幸从大将军出接单于兵，而大将军又徙广部行回远，而又迷失道，岂非天哉！且广年六十余矣，终不能复对刀笔之吏。”言毕引拔刀自刎。当时李广的部下军士、大夫们皆放声恸哭，周围百姓闻之，无论认识与不认识李广的，皆为之流泪。一代名将就这样陨落了。

李广有嫡子三人，长子叫李当户，早年逝世，留有一个遗腹子，就是后来著名的李陵将军；次子叫李椒，为代郡太守，却也先于李广而死；幼子叫李敢，骁勇善战，常随李广出征。李广自刎之时，李敢正跟随骠骑将军霍去病征战。在李广逝世的第二年