كتبوا في حقّ أبي طاهر محضرا فساعدهم الخصيبيّ وجمع جمعا من المصريّين فأدخلهم على كافور فذمّوا ابا طاهر فظنّ كافور انهم من أهل دمشق وكان أبو جعفر مسلم حاضرا فسارّ كافورا فصاح الخصيبيّ : يا با جعفر ولا تكن للخائنين خصيما . فصاح أبو طاهر : الا تحسّن أدبك يا شيخ بحضرة الأستاذ
وصنع ابن الخصيبيّ كتابا مزوّرا على الخليفة في حقّ أبي طاهر فعزله كافور عن دمشق وأضافها لابن الخصيبيّ . فتنجّز أبو طاهر كتبا من بغداد إلى كافور بان الكتب مزوّرة وعلونه أبو جعفر فلم يرجع كافور عن مساعدة الخصيبيّ وكان الخصيبيّ قد تقرّب إلى كافور بمال أهداه له فصار يساعده
وتشكّى جماعة من أهل الفرما من الخصيبيّ ومن نائبه فنصره عليهم وضربوا وطيف بهم على الجمال وثار الرعيّة بالخصيبيّ في الجامع فهرب منهم . ووقع بين الخصيبيّ وأبي بكر بن الحدّاد خصومة في مجلس المظالم فتشاتما وكان الخصيبيّ يتوسّع في القول وأبو بكر لا يجاوز المنقول احترازا وتصوّنا [ وتديّنا ] فصار في غمّ من ولاية الخصيبيّ حتى قيل أنه قال : اصرفوا الخصيبيّ ولو بابن مرجب ( يعني طبيبا كان بمصر ) وضبط عن الخصيبيّ أنه قال : العمل لابني محمد وانا له معين . فبلغ ذلك ابنه فأراد ان يظهر ذلك وكتب التوقيعات بخطّه وختمها وعنونها من محمد بن عبد اللّه فزال اسم الأب منها واستظهر على أبيه وأسجل وتقدّم إلى الموقّعين ان يكتبوا : إلى القاضي محمد بن عبد اللّه وكانت وفاة الخصيبيّ بعد ان بنى داره الكبيرة المعروفة بابن شعيرة وكان اشتراها من محمد بن أبي بكر وعمّرها واتقن وعمل فيها دعوة عظيمة فعمل فيه ابن كشاجم :
اشترى الدار الكبيرة * ودعا فيها الوكيره
صغّر الباب وفي * تصغيره أشأم طيره
قبره لا شكّ فيها * بعد أيّام يسيره
وقال فيه أيضا :
قبّح اللّه الخصيبيّ * فما أقبح أمره
اشترى الدار التي كا * م نت قديما لابن شعره