汉武帝时，汉朝和北方的匈奴时战时和，双方都扣押了对方许多使者。公元前100年，匈奴且鞮侯单于登位，表示要和汉朝和好，汉武帝便派中郎将苏武为正使，副中郎将张胜为副使，带着常惠将一百多属吏，出使匈奴，同时将过去扣押的匈奴使者送回。
苏武一行到了匈奴，归还了匈奴使者，并给且鞮侯单于送上一份厚礼。不料且鞮侯单于并不真心与汉朝和好，他见汉朝归还了扣押的使者，又送了厚礼，以为汉朝软弱可欺，态度十分傲慢。苏武为了两国和好，对他不加计较。他在匈奴住了十多天后，便准备启程回国。
可就在这时候，发生了一件意想不到的事：在苏武之前，汉武帝曾派卫律和虞常出使匈奴，卫律来到匈奴后便投降了，并被匈奴单于封为丁灵玉。卫律的副手虞常虽也无奈投降，但他心向汉朝，一直想伺机暗杀卫律，逃回中原去，但因为没有帮手，不敢莽撞。
虞常和苏武的副手张胜本来是朋友，这次见了张胜，暗地里对他说：“听说咱们皇上恨死了卫律，我准备暗杀他。我的母亲和兄弟都在中原，如果暗杀成功，希望皇上能照顾他们。”
张胜听了，对虞常的暗杀计划表示支持。
不料暗杀没有成功，虞常被逮，并供出曾得到张胜的支持。且鞮侯单于大怒，要杀死汉使。大臣们劝道：“杀死无益，不如叫他们投降。”
单于让卫律去劝降苏武，苏武大义凛然地说：“丧失气节，污辱使命，苟且偷生，非大丈夫也！”说完，拔刀自杀。
但苏武自杀没成功，脖子受了重伤。且鞮侯单于对苏武很钦佩，派人给他治好了伤，但仍要卫律设法招降苏武。
卫律先杀了虞常，又胁迫张胜归降了匈奴。卫律又去劝苏武归降，但苏武坚持民族气节，拒不投降。
卫律看到无法使苏武屈服，只好去向单于报告。单于下令把苏武关进一个大地窖中，不给他吃的、喝的，想以此来逼使苏武投降。
此时正值天降大雪，破破烂烂的地窖里也全是雪，苏武便将地窖里的羊皮片、毡毛和着雪充饥，维持自己的生命。
几天后，单于见没给苏武送吃的喝的，苏武竟仍活着，十分惊奇，就下令把苏武放出来，充军到北海(今贝尔加湖)去放羊。苏武的另一副手常惠也不肯投降，单于罚他做苦工，故意不让他和苏武在一起。
苏武到了北海，匈奴人停止了对他的食物供应，他只好挖野菜、逮野鼠充饥。日子一年年过去了，他出使时穿的衣服已破旧不堪，那根代表汉朝使节的节杖还在，只是上面装饰的牛尾巴的毛已脱尽了。但他仍白天拿着节杖放羊，晚上抱着节杖睡觉。他希望有一天能拿着这根节杖回到汉朝去。
公元前87年，汉武帝死了，汉昭帝即位。不久，匈奴发生内乱，新单于壶衍鞮知道自己没有力量跟汉朝打仗，派使者到长安要求跟汉朝和亲。汉昭帝便派使者回报匈奴，要求放回苏武、常惠等使者，便可答应和好。匈奴单于起先欺骗汉朝使者，说苏武等人都已经死了。
汉昭帝始元六年(公元前81年)，汉朝使者再次去匈奴，常惠设法买通了单于的手下人，私下见到了汉朝使者，告诉使者苏武还活着，在北海牧羊，并教他一个要回苏武的办法。
