汉武帝太初元年（即公元前104年），宛王毋寡派人杀前来求良马的汉使。武帝即命李广利讨伐大宛，大宛诸贵族乃杀毋寡而降汉。 武帝元封二年（即公元前109年），汉朝派遣涉何出使朝鲜，涉何暗害了伴送他的朝鲜人，谎报为杀了朝鲜武将，因而被封为辽东东部都尉。朝鲜王右渠杀了涉何，还砍下了涉何的头颅。于是武帝发兵讨伐。
朝鲜相杀王右渠降汉。 匈奴单于太喜欢苏武这样的忠臣了，也发了狠，说死也要降服他。就出了个阴招，挖了个大地窖，将苏武关到窖里，不给吃喝。苏武也是命不该绝，正好天降大雪，苏武渴则啮雪，饥则吞毡，数日不死，匈奴以为他有神助，对他益发的敬重。 当然这也再度坚定了匈奴单于收服苏武的决心。为了让他屈服，单于命人将他扔到了荒凉的北海（即今天俄罗斯境内的贝加尔湖），给了他一群羊，还告诉他，等公羊下了羊羔，你就可以回来了。
单于的意思是，你有两条路可走，第一，归降于我，第二，公羊下崽。第二条当然是不可能的，违背生物学常识。但第一条更不可能，违背了苏武的志向。所以苏武只有死路一条。 但苏武却并没有屈服，开始了非常艰苦的野外生存生涯。 苏武到了北海，匈奴不给他任何的补给，他只能靠挖老鼠洞，捡草实为生。自始至终，皇帝赐给他的节，从不离手，时间久了，连节上的毛都脱落了。
就这样过了五六年，单于的弟弟於靬王来北海打猎巡视。 於靬王很敬佩苏武，给了他衣食。就这样又过了三年，於靬王生病了，派人赐给苏武帐篷、衣服和牛马。不久於靬王去世，他赐给苏武的牛羊被人偷走，没过上几天好日子的苏武又穷困交加了。 就在苏武最贫困潦倒时，另一个人物登场了，他就是名将李广的孙子李陵。李陵曾经与苏武同朝为官，但因为讨伐匈奴战败诈降，汉武帝不知道他的想法，命人将他的家人全杀了，于是只好假戏真做，降了匈奴。
李陵知道苏武被匈奴扣留，也想来见他，但终究没有颜面。后来单于让他来北海劝降，苏武再次拒绝。 就这样，苏武在北海被流放了整整十九年。 民国时期的由蒋荫棠作词、曲锡侯作曲的《苏武牧羊》，被作为学堂乐歌，用以教育普天下的莘莘学子，直到今天依然被广泛传唱。 其全文如下： 苏武留胡节不辱。雪地又冰天,穷愁十九年。
渴饮雪，饥吞毡，牧羊北海边。心存汉社稷，旄落犹未还。历尽难中难，心如铁石坚，夜坐塞上时有笳声，入耳痛心酸。 转眼北风吹，雁群汉关飞。白发娘，望儿归，红妆守空帏。三更同入梦，两地谁梦谁?任海枯石烂，大节不稍亏，终教匈奴心惊胆碎，拱服汉德威。 十九年后，囚禁苏武的单于已经去世，而汉朝也换了天子，两国关系趋于缓和。
汉朝再度派出使者出使匈奴，要接苏武回国。苏武当年出使的一个随从找到了汉使，教给汉使如何说服匈奴交出苏武。 汉使见到匈奴单于后，提出要接苏武的要求，单于说苏武已经死了。汉使就照着随从教的话道：“我大汉天子在上林射猎，射中一只飞过的大雁，大雁的脚上拴着一帛书，上面写着苏武在某个地方放牧。” 匈奴单于大惊，只好对汉使道歉：“苏武确实还活着”。
苏武回到故国那年正是汉昭帝始元6年，即公元前81年。自公元前100年出使被扣留，至公元前81年回国，前后整整十九年。当年风华正貌的苏武，已变成了一个白发苍苍的老人。 后人有诗曰： 汉使传书托便鸿，上林一箭堕西风。 至今血染阶前草，一度秋来一度红。 这就是“鸿雁传书”这个故事的由来。
顺便提一下，苏武的个人文学成就也相当高，其《留别妻》一诗，缠绵悱恻，文学价值极高，特别是最后两句，足以流传千古。 其全文如下： 结发为夫妻，恩爱两不疑。欢娱在今夕，嬿婉及良时。 征夫怀远路，起视夜何其？参辰皆已没，去去从此辞。 行役在战场，相见未有期。握手一长叹，泪为生别滋。 努力爱春华，莫忘欢乐时。
