利玛窦于1583年真正进入中国，与别的传教士在广东肇庆建立了第一个传教驻地，对外假称来自天竺，并身穿佛教僧侣的衣服。利玛窦用中文翻译了包括《十诫》在内的多本天主教经典，同时还向中国人传播西方各种自然科学，比如出版中国第一份世界地图——《山海舆地全图》。另外，利玛窦也折服于博大的中国传统文化，开始了对它的系统的学习。

没几年，利玛窦就被驱逐出了肇庆，之后他先后在韶州、南昌和南京建立了传教驻地。期间，他不断向中国人传教，在实践中探索自己传教的策略和方法，同时不断学习中国传统文化并将中国的经典著作翻译成外文。1596年，利玛窦被任命为耶稣会中国教区的负责人，第二年成为了主管。

来中国将近二十载之后，利玛窦终于在1601年来到了他梦寐以求的北京。利玛窦通过向万历皇帝进贡了不少新奇的西方器物而得到了皇帝的信任，被准许长居北京进行传教。此后，他就一直居住在北京，结交了许多中国士大夫，直到1610年病死。