وكان المأمون طلب من يحيى بن أكثم أن يختار له ندماء خاصين ، فاختار له مجموعة منهم ابن أبي دؤاد ، الذي فاق ابن أكثم وتسلط على المأمون ، ثم دبَّر الخلافة للمعتصم وقتل ابن المأمون ، ثم دبرها للواثق ، وبعده للمتوكل . وحكم ابن أبي دؤاد نحوعشرين سنة ، في خلافة المعتصم والواثق وقسم من خلافة المتوكل ، ثم غضب عليه المتوكل فعزله وأعاد خصمه ابن أكثم ، وأيد ذلك أحمد بن حنبل ، لأن ابن أكثم كان يتقرب إليهم بالقول بعدم خلق القرآن . وقال الخطيب في تاريخ بغداد « 14 / 201 » : « سمعت يحيى بن أكثم يقول : القرآن كلام الله ، فمن قال مخلوق يستتاب ، فإن تاب وإلا ضربت عنقه » ! قال المسعودي في مروج الذهب « 4 / 14 » : « وفي سنة تسع وثلاثين ومائتين رضي المتوكل عن أبي محمد يحيى بن أكثم ، فأُشخص إلى سر من رأى وولي قضاء القضاة ، وسخط على أحمد بن أبي دُواد وولده أبي الوليد محمد بن أحمد ، وكان على القضاء ، وأخذ من أبي الوليد مائة ألف دينار وعشرين ألف دينار ، وجوهراً بأربعين ألف دينار ، وأحضر إلى بغداد » . وفي تاريخ بغداد « 1 / 314 » : « عزل المتوكل أبا الوليد محمد بن أحمد بن أبي دؤاد . . ووليها يحيى بن أكثم لسبع بقين من شهر رمضان سنة سبع وثلاثين ومائتين » . لكن لم يطل رضا المتوكل على ابن أكثم ، ففي الكامل لابن الأثير « 7 / 75 » : « في هذه السنة « 240 » عَزل يحيى بن أكثم عن القضاء ، وقبض منه ما مبلغه خمسة وسبعون ألف دينار ، وأربعة آلاف جريب بالبصرة » !