كافور بملك مصر واستمر على وزارته ، ولما توفي كافور استقل بالوزارة وتدبير المملكة لأحمد بن علي بن الإخشيد بالديار المصرية والشامية ، وقبض على جماعة من أرباب الدولة بعد موت كافور وصادرهم ، وقبض على يعقوب بن كلّس وزير العزيز العبيدي - الآتي ذكره - وصادره على أربعة آلاف دينار وخمسمائة وأخذها منه ، ثم أخذه من يده أبو جعفر مسلم بن عبيد اللّه الشريف الحسيني ، واستتر عنده ، ثم هرب مستترا إلى بلاد المغرب ؛ ولم يقدر ابن الفرات على رضى الكافورية والإخشيدية والأتراك والعساكر ، ولم تحمل إليه أموال الضمانات ، وطلبوا منه ما لا يقدر عليه ، واضطرب عليه الأمر فاستتر مرتين ونهبت دوره ودور بعض أصحابه ، ثم قدم إلى مصر أبو محمد الحسين بن عبيد اللّه بن طغج صاحب الرملة فقبض على الوزير المذكور وصادره وعذبه واستوزر عوضه كاتبه الحسن بن جابر الرياحي ، ثم أطلق الوزير جعفر بوساطة الشريف أبي جعفر الحسيني ، وسلم إليه الحسين أمر مصر وسار عنها إلى الشام مستهلّ ربيع الآخر سنة ثمان وخمسين وثلاثمائة .
وكان عالما محبّا للعلماء ، وحدّث عن محمد بن هارون الحضرمي وطبقته من البغداديين ، وعن محمد بن سعيد البرجمي الحمصي ، ومحمد بن جعفر الخرائطي ، والحسن بن أحمد بن بسطام ، والحسن بن أحمد الداركي ، ومحمد بن عمارة بن حمزة الأصبهاني ، وكان يذكر أنه سمع من عبد اللّه بن محمد البغوي مجلسا ، ولم يكن عنده ، فكان يقول : من جاءني به أغنيته ، وكان يملي الحديث بمصر وهو وزير ، وقصده الأفاضل من البلدان الشاسعة ، وبسببه سار الحافظ أبو الحسن علي المعروف بالدارقطني من العراق إلى الديار المصرية ، وكان يريد أن يصنّف مسندا فلم يزل الدارقطني عنده حتى فرغ من تأليفه ، وله تواليف في أسماء الرجال والأنساب وغير ذلك .
وذكر الخطيب أبو زكريا التبريزي في شرحه ديوان المتنبي أن المتنبي لما قصد مصر ومدح كافورا مدح الوزير أبا الفضل المذكور بقصيدته الرائية التي أولها :
باد هواك صبرت أو لم تصبرا