谢安一直很喜欢他的侄女和侄子，侄子谢玄从小就被谢安抚养，两个人感情深厚，谢玄小时候很喜欢女孩子用的香囊，谢安看到此景很是担心，毕竟谢玄是堂堂男儿，大不可被这女人的玩意唬弄。于是在与谢玄的一次游戏中，谢安以香囊做筹码，若是谢玄输了就得把香囊交出来，最后香囊被谢安烧毁，从此以后，谢玄再也没有碰过那类事物。