在清末，由于政治形势的需要，清政府派出了五个大臣出国考察，学习西方的政治制度，为预备立宪奠定政治基础。在这五个人中，就有瑞芳。瑞芳在这次出国的过程中并没有写日记。后人之所以了解这段历史的内幕，是因为在其中有两个留洋大臣，通过日记记录下了这些事。
在日记中，有人写到，瑞芳在回国的途中，特地去了埃及的首都开罗，因为他知道那边有很多历史文物。他在埃及带来了许多埃及文物。有些文物，成为了我国有些博物馆的珍品。比如说藏在历史博物馆的19王朝之后彩绘木棺，还有藏在北京大学赛克勒博物馆古王国时期的石碑，这都是历史的记忆。
在安徽徽州文化博物馆内，也有一件埃及文物，是一块瑞芳所题跋的古埃及石刻拓片。这个拓片，长62厘米，宽35厘米。这块拓片有题词：“及古碑,如吾华汉石中食堂(亦作石堂)之类。奉敏卿老兄大疋鉴藏。弟端方题。"这个题词，足见瑞芳是十分喜爱这个埃及文物。不仅如此，瑞芳还在这个拓片上盖了很多印，包括“瑞芳之印”、“匋斋所藏埃及五千年古刻”印等。