在贞观年间，大唐将军尉迟敬德出征的时候，路过此地看见此寺。当他稍微走近忽然发现此寺中的古塔发出耀眼的光芒。当时他吓了一跳，此景好像有仙人降世一样，白云环绕。看见这种奇观，他觉得是一种神示，于是前往寺中祭拜。进入寺中才知道，原来里面是鸠摩罗什寺。回朝后，他下拨银两，召了很多名匠经一年时间修建了鸠摩罗什塔，还亲笔为此塔提了名。

鸠摩罗什在唐朝鼎盛时期，为丝绸之路起到了很大的作用。当时西域使节和各国的一些僧人都在此寺暂住。它对中西方的文化交流起到了深远的影响。但是到了唐朝末年，由于民族间的战乱频繁，很多异教都遭到侵袭。直到明朝初年，社会才渐渐稳定下来，很多庙宇都开始得以修缮。