杨素墓的墓道全部都时由青石砌筑而成，所以当年挖土被发现时还是完好，据说石头每块都有70厘米见方，两侧还绘有精美的壁画。墓道的深处就是墓门，也是有青石建造，上面镶刻着两个不同的神像，两位神人不仅姿态不同，还神色各异。而在墓门上面的门框上则刻有“天官赐福”四个大字。

而在墓门前放置有刻有墓志铭的石碑和一对小石狮子，现在都已出土。墓碑大约二尺五寸见方，墓志铭共45行，每行34个字，碑文为楷书。可惜石碑已经有些损坏，所以上面一千多字的墓志铭已经无法完全看清。按石碑上所写，杨素的墓志铭是由当时的大夫、内史侍郎虞世基撰写，他是隋朝的书法家和文学家。虞世基精湛的书法加上工匠细腻的雕刻，造就了这块石碑上精美的书法雕刻作品。

墓志铭主要是对杨素生平的介绍，对他的功绩大赞大赏。这块残损的墓碑1973年出土，在1980年当地普查历史文物时被发现，现在收藏在潼关县的文化馆。

杨素墓虽然早就被发现并且开挖，但是因为过程中出现了塌方所以挖掘工作已经终止，所以整个墓地中最重要的墓室到现在都还没有挖掘。