可是，威廉四世还是选择了宁可不要婚姻也要与心爱的女人生活在一起，他们整整一起生活了20年，他们同居的20年间一共有十个孩子，分别有5个女儿和5个儿子。在当时，他们的身份得不到认可，他们的孩子也就被被称为“私生子”。 很自然的是，他们的孩子也没有继承王位的资格，他们不能跟着威廉四世姓，只能都姓“菲茨格拉伦斯”。

数年之后，威廉四世为了继承王位,抛弃了多罗西亚·乔丹和他的孩子们。因为威廉四世的离开，他的孩子们的幸福生活也就此止步，他们和母亲一起生活了5年的时间，5年之后，他们热爱演艺的母亲也离开了人世，他们最终还是回到了威廉四世的身边。