可是在这之后，嘉庆帝却并不像乾隆一样那么恩宠富察氏一族，反而使多番挑剔，加以惩戒。嘉庆九年的时候，适逢福康安之丧，于是地方官就送德麟奠仪等共计四万多两。嘉庆帝知道之后，向德麟罚款八万两之多。

嘉庆十三年，德麟被嘉庆降为贝子。在这之后，德麟多次受罚，并被革职，一度在火器营中轮班职守。直至嘉庆二十四年，德麟的贝子爵位一并被革去，降为二等侍卫，并被重打四十大板，发配边疆。

德麟的仕途非常坎坷，有人猜测是嘉庆帝妒忌乾隆对其父的偏宠所致。