在1860年，太平军与清军抗战，吴昌硕全家为了躲避战乱到了荒山野谷中，他的弟弟妹妹先后因为抵挡不了解饿而死了。之后他又与他的家人失散，帮人做短工，打杂来度过每一天。吴昌硕先后与到了安徽、湖北等地流放，在他21岁时才回到自己的家乡务农。在务农期间，他并没有荒废他的学习，还在继续边务农边学习。在1865年，皇天不负有心人，吴昌硕中了秀才，担任了知县。之后他为了追求艺术上的深造，就在外谋生。在他晚年时，他的诗、书、画、印有了很大的提高，并且他的风格十分突出，成为了“后海派”的代表人，近代中国的一位巨匠。

吴昌硕之后与家人一直定居在上海，在1927年，吴昌硕突然患了中风，于十一月初六在上海的家中去世，享年84岁。