当时匈奴分裂，发展为呼韩邪单于和郅支单于的相互攻伐，为南北匈奴，两人都把儿子送去作人质以示臣服。之后郅支单于以为西汉拥护呼韩邪单于而非他，就对西汉怀恨在心，斩杀了汉使。后来，郅支单于依靠与康居联合，击败大宛、乌孙等国，从而实力不断增强，开始威胁西汉边疆。

公元前36年，陈汤说服甘延寿，假托是朝廷的命令，调动了西域几个国家的军队以及西汉在当地的屯兵，总共四万多人，分成六队远征郅支单于。他们一路抵达郅支单于在康居建立的城池，然后步步紧逼，最后攻破城池，斩杀郅支。

陈汤建立不世功勋，可惜回朝后遭到一些大臣的嫉恨，又因为自己为人贪婪，污点不少，从而被他们抓住把柄，几次被降罪，甚至被免职下狱。直到陈汤去世，他也只不过是一个从事中郎，和关内侯的爵位。后来，王莽执政才追谥他为破胡壮侯。