匈奴的单于一直很欣赏苏武的才能，想要劝苏武投降，但他一直宁死不从。单于一气之下就让苏武去北海牧羊，要等公羊生出小羊才能放他回汉朝。等到公元前87年即武帝后元二年，匈奴又重新与汉朝建立友好关系，汉昭帝要求匈奴将苏武等人归汉。刚开始时，匈奴谎称苏武等人已经去世，并不想苏武归汉。后来，汉昭帝又派使者出使匈奴，想要寻回苏武等人。汉朝使者来到匈奴后，见到了苏武的一个人下，这个人将他们在匈奴所发生的一切都告诉了使者。第二天，汉朝的使者就告诉单于说：“我们皇帝在上林苑中射猎，得到了一只大雁，大雁上绑着布条，上面说苏武就在北海地区。”无奈之下，单于就将苏武归还给了汉朝。

就这样，在北海放了十九年羊的苏武返回了汉朝。