虽然在科举的道路上，徐渭不是很顺畅，但是徐渭因自己的才能，被当时的总督南军务的胡宗宪招收，做文书一职。这一时期，是徐渭一生中最好的时期，胡宗宪也很器重徐渭。胡宗宪因某些原因被捕，徐渭也因为胡宗宪被捕，被迫离开了总督府。

在连年考试不中，以及徐渭自己性格偏激的原因，徐渭在一次狂病发作中，将妻子杀死，被关入牢房中。徐渭在一些比较有声望的朋友的帮助下，以及万历皇帝即位大赦天下的机会中，被放出了牢房，这个时候徐渭已经有五十三岁了。

徐渭晚年穷途潦倒，因为年轻时不屑于置办产业，到了晚年只得以靠卖字画生存。徐渭手头宽裕一些了，就不肯再作字画，这也导致了徐渭在生病后，不能常常作字画时，生活更加贫困了。1593年，徐渭在病痛和贫困中去世，终年73岁。