施世纶从小体弱多病，但是头脑聪明智慧过人。当年随同父亲施琅收复台湾时，他亲眼目睹了战争的壮阔与激烈，随后写下一首律诗，这让他父亲看到了施世纶的才华。他父亲施琅收复台湾后，康熙曾经让施琅推荐几个儿子出来，让朝廷照应，施琅唯独没有提及他的二儿子施世纶，而其他儿子都提到了。因为施琅知道施世纶的才华会被发现，凭自己的能力完全可以出人头地，所以不提他。

正因为他从小就非常有才华，又聪慧过人，施世纶断案时也比别人聪慧，灵活多变。有一次，一个犯人犯了重罪，为了能保命，他向县衙中一个官吏行贿求救，官吏就跟他说：“你临行前只管大声哀求，我自有办法救你。”到了行刑的那天，犯人果然大声哀求自己无罪，官吏却在旁边说：“你快快认罪吧！”说罢，转身便走。施世纶凭借着自己的聪明才智，察言观色马上就明白了，这个官吏被犯人给收买了，之后他重重的责罚了那个官吏。

还有一次，他当顺天府尹时，托合齐时下正受康熙宠幸，每次出门都会有骑卫兵保驾。正巧托合齐在出门时碰上了施世纶，施世纶在路边拱手相迎。这被托合齐看见后大惊失色，而施世纶却大声说：“王爷出行才会有骑兵侍从，我以为是王爷出行呢。”托合齐听后吓得连连称罪，才算了事。不以权贵，以智取胜才是施世纶断案的风格。