قال في وفيات الأعيان « 1 / 85 » : « قدم يحيى بن أكثم قاضياً على البصرة من خراسان من قِبَل المأمون في آخر سنة 202 ، وهوحَدَث سِنُّهُ نيف وعشرون . فلما قدم المأمون بغداد في سنة أربع ومائتين قال ليحيى : إختر لي من أصحابك جماعة يجالسونني ويكثرون الدخول إلي ، فاختار منهم عشرين ، فيهم ابن أبي دؤاد » . وفي تاريخ بغداد « 14 / 201 » : « وغلب على المأمون حتى لم يتقدمه أحد عنده من الناس جميعاً ، وكان المأمون ممن برع في العلوم ، فعرف من حال يحيى بن أكثم وما هو عليه من العلم والعقل ما أخذ بمجامع قلبه ، حتى قلده قضاء القضاء ، وتدبير أهل مملكته ، فكانت الوزراء لا تعمل في تدبير الملك شيئاً ، إلا بعد مطالعة يحيى بن أكثم ، ولا نعلم أحداً غلب على سلطانه في زمانه ، إلا يحيى بن أكثم ، وابن أبي دؤاد » . وفي تاريخ اليعقوبي « 2 / 465 » : « وشى يحيى بن أكثم بالمعتصم إلى المأمون ، وقال له : إنه بلغني أنه يحاول الخلع ، فوجه إليه يأمره بالقدوم » . ولم تنفع احتياطات المأمون ، فغلب بعده أخوه المعتصم على ابنه الضعيف العباس وأخذ منه الخلافة ، وكان أول ما فعله المعتصم أن عزل يحيى بن أكثم ، ونصب بدله صديقه ابن أبي دؤاد ، ونقل الخلافة من أولاد المأمون إلى أولاده ، فتولاها ابنه الواثق ، ثم أخوه المتوكل ! قال ابن خلكان في وفيات الأعيان « 1 / 85 » : « ولما ولي المعتصم الخلافة جعل ابن أبي دؤاد قاضي القضاة ، وعزل يحيى بن أكثم » .