منصرف ساخت و هارون پس از وصول بخلافت مكرّر از يحيى تشكّر ميكرد . پسران يحيى يعنى فضل و جعفر و محمّد و موسى پس از رسيدن پدر بوزارت هارون همه در راه بردن كارهاى خلافت معين و ياور او بودند مخصوصا فضل كه مردى كافى و اديب و كريم و نويسنده بود از پدر در وزارت نيابت ميكرد و مدّتها حكومت قسمت عمدهء ممالك شرقى هارون را در عهده داشت فقط چون قدرى تندخو بود هارون جعفر را بر او ترجيح مىنهاد و او را محرم و نديم خود قرار داده بود تا آنجا كه براى محرميت خليفه عبّاسه خواهر خويش را بنام جعفر خطبه كرد و ظاهرا از او قول گرفت كه اين ازدواج از حدّ نگاه تجاوز نكند . در عهد اقتدار برامكه ايرانيان و شيعيان علوى و زنادقهء مانوى و فرقهء شعوبيّه يعنى ملّت‌پرستان غيرعرب كه با اين قوم كينه داشتند و براى ايشان به هيچ فضيلتى قائل نبودند و قوم و ملّت خود را از همه جهت از عرب برتر ميدانستند در دستگاه آل برمك نفوذ و قرب و منزلت فوق العاده يافتند و برامكه كتابخانهء بزرگى در بغداد بنام بيت الحكمه درست كردند كه محلّ اجتماع اين فرق و ملل شد و برامكه ايشان را با صرف مبالغ گزاف بترجمه و تأليف و استنساخ كتب واميداشتند و رياست اين كتابخانه غالبا با ايرانيان شعوبى بود . بتدريج قدرت يحيى و پسران او تا آنجا كشيد كه تقريبا تمام كارها را از دست خليفه گرفتند و غالبا رفت‌وآمد و مراجعات مردم بخانه‌هاى برامكه بيشتر بود تا بقصر خليفه . هارون كه مردى مستبد و متعصب بود از اقتدار فوق العادهء برامكه و ميل باطنى ايشان بعلويان و شعوبيه و زنادقه در وحشت افتاد و مصمّم شد كه ريشهء آن طايفه را از بيخ بركند و پيوسته در پى بهانه و فرصتى مناسب ميگشت تا عاقبت به اين بهانه كه جعفر از عباسه بر خلاف قولى كه داده بود دو فرزند آورده با اينكه مدّتها از اين قضيه اطلاع داشت و عمل نيز بهيچوجه نامشروع نبود جعفر و عباسه و دو طفل ايشانرا در سال 187 كشت و سر جعفر را در بغداد آويخت و هرپاره از جسد او را بيك طرف