همنشينى با وى بود ، ازينرو هر گاه حسن نزد مأمون مىآمد ، مأمون سخن را طولانى مىكرد ، و هر گاه حسن مىخواست برخيزد مأمون وى را از رفتن باز مىداشت .
حسن بن سهل بدين ترتيب روزگارى را گذراند تا آنكه ملازمت مأمون برايش مشكل شد ، بدين جهت از حضور يافتن نزد مأمون پهلو تهى كرد ، و همواره يكى از دبيران خود مانند احمد بن ابى خالد ، و احمد بن يوسف و جز ايشان را به جاى خود مىفرستاد ، سپس سودايى كه منشأ آن بىتابى و اندوه از مرگ برادرش فضل بود عارض وى شد ، و به قصد علاج در خانه نشست ، و يكباره از مردم روى پنهان نمود . ولى با اين وصف در ميان خلق منزلتى بس بزرگ داشت .
در اين وقت مأمون احمد بن ابى خالد را به وزارت برگزيد ، و احمد پيوسته در همه وقت به خدمت حسن بن سهل مىشتافت ، حسن نيز هر گاه نزد مأمون حضور مىيافت مقامش از هر كس نزد وى بالاتر بود . چون حسن بن سهل خانهنشين شد يكى از شعرا وى را هجو كرده گفت :
تولّت دولة الحسن بن سهل * و لم ابلل لهاتى من نداها
فلا تجزع على ما فات منها * و ابكى اللّه عينى من بكاها
« دولت حسن بن سهل از ميان رفت و من از عطايش كامى نبردم . بلى نبايد بر آنچه از دست رفته بىتابى كرد ، خدا بگرياند چشمان كسى را كه بر زوال آن دولت بگريد » . حسن بن سهل در سال دويست و سى و شش در دوران متوكّل درگذشت .
وزارت احمد بن ابى خالد احول
احمد بن ابى خالد از موالى به شمار مىرفت ، وى مردى جليل القدر و از خردمندان روزگار ، و نويسندهاى توانا و فصيح و عاقل و بينا به امور بود .