أمره كله ووزارته يعقوب بن داود ، وجد المهدي في طلب الزنادقة ، وقلد عمر الكلواذاني طلبهم ، فظفر بجماعة منهم ، وظفر فيهم بيزيد بن الفيض ، كاتب المنصور ، فأقر بالزندقة ، فحبس ، وهرب من الحبس ، فلم يقدر عليه ، ثم عزل المهدي أبا عبيد اللّه عن ديوان الرسائل في سنة سبع وستين ومائة ، وقلده الربيع ، فاستخلف الربيع عليه سعيد بن واقد ، وكان أبو عبيد اللّه يصل إلى المهدي على مرتبته ، رعاية لحرمته .
ومن حسن كلام أبي عبيد اللّه ما رواه عمرو بن بحر الجاحظ : « التماس السلامة بالسكوت ، أولى من التماس الحظ بالكلام ، وقمع نخوة الشرف ، أشد من قمع بطر الغنى ، والصبر على حقوق النعمة ، أصعب من الصبر على ألم الحاجة ، وذل الفقر ، قاهر لعز الصبر ، كما أن عز الغني ، مانع من الانصاف ، الا لمن كان في غريزته فضل كرم ، وفي أعراقه مناسبة لعلو الهمة » .
وتفرد يعقوب بتدبير الأمور كلها ، وتوفي عمر بن داود أخو يعقوب .
وكان سبب ذلك أنه خرج متنزها ، ومعه جماعة من أهله وأقاربه ، ومعه سفرة وفواكه ، فقدمت اليه سلة فيها عنب ، فأخذ منها جبتين ، فألقاهما في فيه ، فاعترضتا في حلقه ، فلم تنزلا ولم تصعدا حتى مات ، فرثاه ابن أخيه داود بن علي بن داود :
غدا صحيحا مع الاحياء مغتبطا * والآن ميتا بقربى أهله عمر
فاحتل قبرا لدى قبر أبوه به * يعلوهما نضد الأحجار والمدر
فما بقاؤك يا داود بعدهما * فاحذر حذار امرئ قد شفه الذعر
وراقب اللّه واعلم أن طاعته * هي النجاة إذا ما حوسب البشر
فذكر عبد اللّه بن يعقوب بن داود أن سفيان بن عيينة صار إليهم معزيا ، فكانت تعزيته أن أنشد بيتا لعمران بن حطان :
كيف أعزيك والاحداث مقبلة * فيها لكل امرئ من نفسه شغل
وكان عبد اللّه بن يعقوب بن داود أحد الأدباء والشعراء ، وله ابنان يقولان الشعر ، يقال لأحدهما محمد ، والآخر عبيد اللّه ، فمن قول محمد ابن عبد اللّه بن يعقوب :
وزع المشيب شراستي وغرامي * ومري الجفون بمسبل سجام
ولقد حرصت بأن أواري شخصه * عن مقلتي فرمت صعب مرام
وصبغت ما صبغ الزمان فلم يدم * صبغي ودامت صبغة الأيام
لا تبعدن شبيبة ذيالة * فارقتها في سالف الأيام
ما كان ما استصحبت من أيامها * الا كبعض طوارق الأحلام
ومن قول عبيد اللّه بن عبد اللّه بن يعقوب :