卫律赶快叫人抢救，苏武才慢慢苏醒过来。
单于觉得苏武是个有气节的好汉，十分钦佩他。等苏武伤痊愈了，单于又想逼苏武投降。
单于派卫律审问虞常，让苏武在旁边听着。卫律先把虞常定了死罪，杀了；接着，又举剑威胁张胜，张胜贪生怕死，投降了。
卫律对苏武说：“你的副手有罪，你也得连坐。”
苏武说：“我既没有跟他同谋，又不是他的亲属，为什么要连坐？”
卫律又举起剑威胁苏武，苏武不动声色。卫律没法，只好把举起的剑放下来，劝苏武说：“我也是不得已才投降匈奴的，单于待我好，封我为王，给我几万名的部下和满山的牛羊，享尽富贵荣华。先生如果能够投降匈奴，明天也跟我一样，何必白白送掉性命呢？”
苏武怒气冲冲地站起来，说：“卫律！你是汉人的儿子，做了汉朝的臣下。你忘恩负义，背叛了父母，背叛了朝廷，厚颜无耻地做了汉奸，还有什么脸来和我说话。我决不会投降，怎么逼我也没有用。”
卫律碰了一鼻子灰回去，向单于报告。单于把苏武关在地窖里，不给他吃的喝的，想用长期折磨的办法，逼他屈服。
这时候正是入冬天气，外面下着鹅毛大雪。苏武忍饥挨饿，渴了，就捧了一把雪止渴；饿了，扯了一些皮带、羊皮片啃着充饥。过了几天，居然没有饿死。
单于见折磨他没用，把他送到北海（今贝加尔湖）边去放羊，跟他的部下常惠分隔开来，不许他们通消息，还对苏武说：“等公羊生了小羊，才放你回去。”公羊怎么会生小羊呢，这不过是说要长期监禁他罢了。
苏武到了北海，旁边什么人都没有，唯一和他作伴的是那根代表朝廷的旌节。匈奴不给口粮，他就掘野鼠洞里的草根充饥。日子一久，旌节上的穗子全掉了。
