卡位迪许趣闻轶事之一就是他不慕名利，视名利为浮云。他出身于贵族之家，并且从长辈那里继承了大笔遗产，成为当时的大富豪之一，但是他却从金钱一点概念都没有，据说他几乎没有一件衣服是没掉纽扣的。甚至有一次一位来自奥地利的科学家当面称赞了卡文迪许几句，生性腼腆的他竟然浑身不自在，坐立不安，最后竟然直接冲出房，坐车回家去了，留下一屋子人面面相觑，尴尬不已。而且即使他没有失礼离开，他也会沉默寡言地坐在客人身边，让一帮客人扫兴而归。

其实这还不算什么，顶多算是任性，那么卡文迪许的孤僻简直到了病态的地步。即便是与自己的管家交流，也是通过纸条，他的社交恐惧症到了这种地步。而且他身为当时的大富豪，有一次一位工匠为他粉刷房间，过后他竟然想不起给工匠工钱，朋友实在看不下去，告诉他这件事，卡文迪许大吃一惊，连忙写了一张两万英镑的支票，还问够不够，这在当时几乎是一位工匠十年的薪酬了，而卡文迪许竟然毫不在意。