واستمر الفضل متمكنا عند هارون إلى أن قضى هارون نحبه فقام بالخلافة ولده محمد الأمين وساق إليه الخزائن بعد موت أبيه وسلم إليه القضيب والخاتم وأتاه بذلك من طوس وكان الفضل هو صاحب الحل والعقد لاشتغال الأمين باللهو ولما تداعت دولة الأمين ولاح عليها الإدبار اختفى الفضل مدة طويلة فلما بويع إبراهيم بن المهدى ظهر الفضل وساس نفسه ولم يدخل معهم في شئ فلذلك عفا عنه المأمون بشفاعة طاهر بن الحسين واستمر بطالا في دولة المأمون لاحظ له إلا السلامة إلى أن مات وفى تقصى أخباره طول وفصول ولكنا نذكر فوائد من أوائلها وأواخرها فمنها قيل دخل الفضل يوما على يحيى بن خالد البرمكي وقد جلس لقضاء الحوائج وبين يديه ولده جعفر يوقع في القصص فعرض الفضل عليه عشر رقاع للناس فتعلل يحيى في كل رقعة بعلة ولم يوقع في شئ منها البتة فجمع الفضل الرقاع وقال ارجعن خائبات خاسئات ثم خرج وهو ينشد : عسى وعسى يثنى الزمان عنانه * بتصريف حال والزمان عثور فتقضى لبانات وتشفى حسائف * وتحدث من بعد الأمور أمور فسمعه يحيى فقال عزمت عليك يا أبا العباس إلا رجعت فرجع فوقع له في جميع الرقاع ثم لم يمض إلا القليل ونكبت البرامكة على يديه وتولى هو الوزارة بعد أن كان حاجبا وتنازع يوما جعفر بن يحيى والفضل بن الربيع بحضرة الرشيد فقال جعفر للفضل يا لقيط إشارة إلى شئ كان يقال عن أبيه فقال الفضل اشهد يا أمير المؤمنين فقال جعفر للرشيد تراه عند من يقيمك هذا الجاهل شاهدا يا أمير المؤمنين وأنت حاكم الحكام