1955年，李丽从香港到台湾定居。不过，她还是很难与政治脱离干系。由于汪伪政权的两任最高军事顾问——柴山与矢崎，都曾是她的“入幕之宾”，她长期被视为“女汉奸”。

李丽在回忆录中写道，“为着惧怕影响他人名誉地位，恕我不能道出儿子的姓氏。”这也是台湾岛内情报圈盛传她与戴笠生有一子的依据。