此后汉军处境更加险恶，匈奴仗着人多，一天内往往攻击数十次。在付出伤亡二千余人的代价后，匈奴人终于坚持不住，准备撤走。恰好此时汉军中一个叫管敢的军侯，因被上司凌辱而投降匈奴。他对单于说：“汉军并无后援，箭矢将尽，只有李将军和成安侯韩延年手下各八百人，列于阵前作为先锋，派精骑射杀他们就能击败汉军。”单于大喜，命诸军马上进攻，边打边喊：“李陵、韩延年快降！”
汉军处在谷底，匈奴人就在山坡上射箭，矢如雨下。汉军艰难突围，一天之内将剩下的五十万支箭全部射光。当时，士卒还有三千余人，没有箭的弓弩手就拿车轮辐条当武器，军吏们也只有短刀。进入一处狭谷后，匈奴人在险要处垒石堵塞通路，并从山上滚下石块，汉军多有被砸死者，不能前进。
入夜后，李陵换上便衣独步出营，拦住跟随的左右，说“：不要跟着我，大丈夫应当独身杀死单于！”过了很久李陵才回来，叹息说：“兵败，惟死！”有军吏劝说：“将军威震匈奴，失败是因为天意，以后可以想办法回去。浞野侯赵破奴被匈奴俘获，逃回后陛下仍以礼相待，何况将军您呢！”李陵说“：不要说了，我不死，便不是壮士。”李陵下令把旌旗砍断，连同珍宝一起埋在地下，扼腕叹息道：“如果每人再有几十支箭，我们就可以脱险了，可现在没有武器，天亮只有束手待擒。不如分散突围，也许有人能逃回去报告陛下。”他令每人带干粮二升，冰一块，约定在遮虏鄣会合。
李陵与韩延年一同上马，有十多人和他们一起冲出。匈奴数千骑紧追不放，韩延年战死。李陵长叹：“我无颜见陛下呀！”下马投降。兵败之处离边塞只有百余里，汉军仅逃回四百余人。
消息传到朝廷，汉武帝大怒，责问陈步乐，陈步乐只好自杀。文武百官都认为李陵有罪，只有太史令司马迁认为李陵兵不满五千，深入匈奴腹地，杀伤数万敌军，身陷重围而战败，之所以不死，是想立功赎罪以报效朝廷。汉武帝认为司马迁编造借口，影射李广利劳而无功，为李陵诡辩，将他下狱施以腐刑。
很久以后，汉武帝才悔悟，说：“李陵出塞之时，本令强弩都尉接应，只因受了这奸诈老将奏书的影响又改变了诏令，才使得李陵全军覆没。”于是派使者慰问赏赐李陵残部。一年后，汉武帝派将军公孙敖带兵深入匈奴境内迎接李陵。公孙敖回来后上奏：“听俘虏说，李陵在帮单于练兵以对付汉军，所以我们没接到人。”汉武帝听后将李陵母亲、兄弟、妻子全部诛杀。陇西一带的士大夫都以李陵为耻。
后来，有汉使到匈奴，李陵就问使者：“我为大汉领步卒五千横扫匈奴，因无救援而败，有什么对不起大汉而要杀我全家？”使者说：“朝廷听说李少卿在为匈奴练兵。”李陵说；“那是塞外都尉李绪，不是我。”李陵痛恨李绪为匈奴练兵而使自己全家被诛，派人刺杀了他。大阏氏非常生气，要杀掉李陵，单于便把李陵派到北方藏匿起来，大阏氏死后才回来。
单于很看重李陵，把女儿嫁给他，立他为右校王。汉昭帝即位后，辅政的大将军霍光、左将军上官桀，都与李陵关系不错，就派李陵好友任立政等人去匈奴招李陵归汉。李陵说：“大丈夫不能反复无常，再次蒙羞。”没有回去。
苏武回国前，李陵安排酒筵向他祝贺，说：“你今天回去，扬名于汉匈，功绩显赫，古今无人能及。我虽无能胆怯，假如汉廷能宽恕我的罪过，不杀我的老母，使我能实现因为投降匈奴之耻而积蓄已久的志愿，也许可以立功赎罪，这是我以前一直念念不忘的。可皇帝逮捕诛杀我全家，这是奇耻大辱，我还留恋什么呢？算了吧，只是让你了解我的心意罢了。我已成异国之人，这一别永无相见！”李陵起舞，唱道：“驰骋万里兮越沙漠，为君王领兵兮战匈奴。归路断绝兮刀箭毁，将士阵亡兮名败坏。老母已亡，虽想报恩何处归！”
李陵在匈奴二十多年，于公元前74年病死。
