لإبراهيم بن الأغلب ، واشتدت لظاته بلغه ما اجتمع لإدريس بن إدريس بن عبد الله بن حسن بن حسين بن علي بن أبي طالب - رضي الله عنه - من الجموع وأطاعه من حوله من القبائل ، فدعا يحيى بن الفضل صاحب البريد وابن غانم القاضي وابن عوانة الكلبي ، فشاورهم في أمر إدريس ، وتكلم بكلام كثير ، فقالوا : « أصلح الله الأمير ، قد علم من حضر وغاب من أمر المغرب إنه لم يظفر بمثل ظفرك ، ولا كان له ما كان لك ، فدع ابن إدريس ما وادعك ، وأرض لك وله بالسلامة . . . قال بعضهم : إن ابن إدريس لم يجتمع إليه إلا . . . [ فقال ابن ] غانم : « وما هو هذا ؟ » قال : « السم القاتل من ساعته ! » قال : « أرنيه » فدفعها إليه ، فضرب بها ابن غانم عمودا كان في المجلس ، فكسرها وأراق ما فيها ، فقال له : « ما صنعت ويحك ؟ ! » قال : « أو أترك معك ما يقتل الناس اغتيالا » وشق إبراهيم بن الأغلب يوما سماط القيروان ومعه ابن غانم من باب أبى الربيع ، فلما صار إلى موضع البزازين ، وزادت دابته في المشي ، فجازت دابة ابن غانم ، فجازه في المشي ، فلما رأى ذلك وجه دابته إلى داره ، فأرسل إليه إبراهيم وقال له : « ما حملك على أن عطفت حتى فارقتني ؟ » فقال : « أصلح الله الأمير ، إنما القاضي بحرمته وإنما تنفذ أحكامه بقدر نفوذ جأشه وتحركت دابتك فلو ساعدتك وحركت دابتي سقطت قلنسوتى ، وإذا سقطت قلنسوة القاضي لعب بها الصبيان ! » . قال : وكان إبراهيم بن الأغلب جالسا يوما وعنده ابن غانم فدخل عليه صاحب بريد إفريقية ، وقد وردت عليه كتب من هارون الرشيد فدفع الرسول إلى إبراهيم كتابه وإلى ابن غانم كتابه ، فقرأ إبراهيم كتابه ودفعه إلى ابن غانم ، فقرأه ورده على إبراهيم ، فقال له إبراهيم : « هات كتابك اقرأه . . . من ذلك » فقال له : « فلم قرأت كتابي ؟ ! » قال : « أنت دفعته إلى ومددت به يدك ، وكرهت أن أردها ، وأما أنا فلست أطلعك عليه فإن أمير المؤمنين أسر إلى فيه شيئا لا أطلع عليه أحدا » فقال له إبراهيم : « أما علمت أنه يقال إن أمير إفريقية يقتل قاضيها ؟ ! » قال : « أعلم أن قد ذكر ذلك ، ولكن لست ذلك