而曹玺的儿子曹寅，也就是曹雪芹的爷爷，也是一位很有抱负的青年，小时候是康熙的伴读，长大了还当过康熙的御前侍卫，曹玺死后，自然而然地当了江宁织造。这个时期，算是曹家的鼎盛时期，但也预示着开始了衰败的旅程。

曹寅死后，曹颙继任，但不久又病故，留下了遗孀马氏及遗腹子，有说这个遗腹子就是曹雪芹一说。曹寅无二子，后来就过继了侄子曹頫继任江宁织造，但此时，康熙已经老了，曹家在朝廷的靠山将倾，曹家命运也岌岌可危。

康熙死后，雍正皇帝查抄了曹家，原因众说纷纭，有待考证。至此，曹家一蹶不振，曹雪芹也只是过了一个无忧的童年生活，直到潦倒终生。