麦克米伦这一生只有着一段婚姻，他的妻子是当时很有名的加拿大总督也就是维克多·卡文迪许的女儿。这一下整个麦克米伦家族都没有从政过，但是却迎娶了总督的女儿，这个女人的名字叫做桃乐丝·卡文迪许。在麦克米伦和桃乐丝结婚的这段时间内，关于桃乐丝出轨的消息一直环绕在麦克米伦的身边，但是麦克米伦对桃乐丝的感情是很好的，可以说是挺爱她的，但是桃乐丝的绯闻一直就没有断过。这其中与桃乐丝的绯闻最多的就是和保守党的一位政治家，名字叫做罗伯特·布思比。

在桃乐丝与布思比的外遇传闻中，最直接的就是有人说麦克米伦的小女儿不是亲生的。麦克米伦与桃乐丝一共育有一个儿子三个女儿，其中最小的那个女儿名字叫做沙拉，这段婚外情传闻中最直接的证据就指向这个小女儿，说沙拉其实是桃乐丝和布思比的女儿。但是谁也没有承认过这段婚外情，桃乐丝和麦克米伦一直没有离婚，直到桃乐丝去世，哈罗德·麦克米伦的婚姻也随着妻子的离世结束了。