他与协律都尉李延年交情莫逆。后来武帝的李夫人（即延年那位倾国倾城的妹妹）死后，李延年、李季因淫乱而被族灭，卫律怕被牵连，就跑到了匈奴。他因为熟悉汉朝的情况，多次为匈奴对抗汉军出了大力，因此颇受匈奴单于的喜爱，被封为丁灵王。顺便说一下，李延年在历史上也是个有名的人物，就是亲自谱了首传世名曲以向武帝推销自己妹妹的狠人。
这首流传千古的名曲叫做《佳人曲》，文学成就极高，广为流传。全文如下： 《北方有佳人》 北方有佳人，绝世而独立。 一顾倾人城，再顾倾人国。 宁不知倾城与倾国，佳人难再得！卫律来劝降，苏武世受国恩，当然不肯答应，道：“屈节辱命，虽生，何面目以归汉！”于是引刀自刺，以明心志。卫律对苏武很是敬佩，急忙抱起苏武，进行抢救，史书是这样记载的： 卫律惊，自抱持武，驰召医。
凿地为坎，置煴火，覆武其上，蹈其背以出血。武气绝，半日复息。 无论哪个国家的君主，都喜爱忠诚的大臣，因此匈奴单于知道苏武的所作所为后，“壮其节，朝夕遣人候问武”。当然，这也更坚定了单于要收服苏武的决心。 卫律秉承单于意志，再次对苏武劝降，但苏武心志坚定，不肯答应。 以下是两人的对话： “苏君！律前负汉归匈奴，幸蒙大恩，赐号称王；拥众数万，马畜弥山［20］，富贵如此！苏君今日降，明日复然。
空以身膏草野［21］，谁复知之！” 卫律说：“苏君，卫律我以前离开汉朝投降匈奴，受到单于的大恩，被封为王，有部下数万，马牛之类的牲畜漫山遍野，享尽人间富贵。您今天降了单于，明天就会拥有我这样的富贵。否则身死于此，只能以自己身体的血肉来滋养草木，天下又有谁会知道你呢？” 武骂律曰：“女为人臣子，不顾恩义，畔主背亲，为降虏于蛮夷，何以女为见！且单于信女，使决人死生；不平心持正，反欲斗两主，观祸败！南越杀汉使者，屠为九郡。
宛王杀汉使者，头县北阙。朝鲜杀汉使者，即时诛灭。独匈奴未耳。若知我不降明，欲令两国相攻。匈奴之祸，从我始矣！” 苏武骂卫律道：“你本是汉朝的臣子，不思报答天子的恩义，反而背叛天子，投降蛮夷……你如此作为，是想让汉天子与单于相斗而坐观成败！从前南越杀了我大汉的使者，我大汉出兵讨伐，南越王被杀，其地成为我大汉的珠崖、南海九郡！大宛国杀汉使，汉军征讨，大宛国王的头颅被斩下来，悬在宫殿的北门。
朝鲜杀我汉使，汉军讨伐，杀人者被诛杀！现在只有匈奴还没受到南越、大宛、朝鲜那样的惩罚。你明明知道我不会投降，这是想让两国为仇。匈奴的祸患，就从我开始吧。” 苏武的回答真的豪气冲天，他列举的是几个惹怒大汉被收拾的邦国： 武帝元鼎五年（即公元前112年），南越王相吕嘉杀其国王及汉使者，叛汉。武帝发兵讨伐，活捉吕嘉，因将其地改为珠崖、南海等九郡。
