الكلام مما أسرف فيه ، وغلا بفرط حرجه ، فانتدب له البرادعي وتولاه ووجد للمقال سبيلًا ، وأنكر عليه كل من حضر ، ولكن تولى ذلك البرادعي ، بفرط حرج منه هو أيضًا ، فخرج الأصيلي ، فكان ذلك سبب مقاطعته مجلس ابن أبِي زيد . فيقال إن ابن أبِي زيد قال للبرادعي : لقد حرمتنا فوائد الشيخ بإسرافك في الرد عليه . وكانت بين الأصيلي وبين ابن زرب القاضي وأصحابه مشاحنة ، أثارتها النفاسة ، وعلو كعب الأصيلي في العلم ، وإزراؤه عليهم ، فأراد ابن أبِي عامر صلاح حالهم بتفريقهم ، فقلد الأصيلي قضاء سرقسطة ، فدارت بين الأصيلي وواليها بين يدي ابن أبِي عامر منافسة ، ومحارجة لأشياء أنكرها عليه الأصيلي ، فاستعفى من القضاء فعوفي ، وقيل بل حلف الوالي أن لا يلي معه . فصرفه ابن أبِي عامر عن القضاء صرفًا جميلًا ، فأقام رأسًا في أهل الشورى بقرطبة ، ولا سيما بعد وفاة ابن زرب ، فإنه استكملت رئاسته ، حتى كان بالأندلس نظير ابن أبِي زيد بالقيروان وعلى هديه ، إلا أنه كان فيه ضجر شديد ، يخرجه أوقات القيظ إلى غير صفته ، ذكر بعضهم أنه هنأه بالشورى حين تقلدها ، فقال : لعن الله الشورى إنْ لم أرفعها ، ولعنني إنْ رفعتني ، ونحو هذا ! وكان مقبلًا على إفادة تلاميذه والاستفادة منهم . جاء في الصلة لابن بشكوال في ترجمة أبِي عبد الله محمد بن أصبغ البلوي : أنه رحل إلى المشرق مع أبِي عبد الله بن عابد ، وهما تلميذان للأصيلي ، فسمعا هناك من أبِي بكر بن إسماعيل وغيره .