在吴刚被罚的同时，他的妻子心中也十分的内疚，于是让她的三个儿子一起去和吴刚作伴，以此来减轻自己心中的愧疚感。于是这三个儿子分别变化成了蟾蜍、玉兔和天葵，这样一来月亮上的吴刚才不至于太过孤单。后来他们又为了吴刚能够开心而创造了钟、磬等乐器，还谱出了不同的曲子，在这之后他们就不断的为吴刚奏乐，以至于广寒宫常常飘出动人的曲子。

在民间流传的故事中有一位和桂树有关的人物，这个人也就是吴刚。传说吴刚被罚到月亮上砍伐桂树，可是偏偏这棵树不会死也不会断，他只能被困在月亮上一直砍下去。据说后来还因为吴刚而让世上第一次有了桂花酒。