حكى يونس القفصي ، قال : كنت إذا رابطت لم أزل ملازما لأبي الفضل أتبرّك بخدمته ومحادثته وذلك في المنستير قبل خروجه إلى قصر سهل ، وقدّمت إليه مرّة عسلا وسمنا وكعكا بسكّر . وقلت له : هذه هدية منّي إليك فقال : أسأل اللّه تعالى أن يعظّم ثوابك ، اليوم ثلاثون سنة ما أكلت من هذه الطرائف شيئا . إنما وظيفتي من الشهر إلى الشهر بقيراط شعير ، ولم أسكن هذه الحصون لآكل ، إنما يريد البقاء في الدنيا من يتلذّذ بالطعام والنّوم والنّساء ، وأنا - واللّه - عدمت لذة هذه الثلاث . وقيل له يوما : فلان يتكلّم فيك ، فقال : إنما مثلي ومثله مثل رجل حمل لضرب عنقه ، فقذفه رجل في الطريق ، فقال لنفسه : أنت تحمل للقتل تسأل عمّن يقذفك ، وأنا مسافر إلى الموت لا أدري متى يأتيني أجلي أسأل عمّن يتكلم فيّ ، أنا في شغل عن ذلك . وله كلام كثير في الرقائق والمواعظ أثبت منه المالكي جانبا وافيا . ولما ألّف كتابه في أحمية الحصون وما يجب على سكّان المحارس أن يعملوا به ، ثار عليه المرابطون وشدّدوا عليه النّكير وآذوه بألسنتهم لمّا شدّد عليهم في مراقبة أنفسهم والتباعد عن الشبهات . ويظهر أنه انتقل بعد ذلك من المنستير إلى سكنى قصر سهل القريب من مدينة سوسة . واستمرّ به على المرابطة إلى آخر حياته . حكى بعضهم قال : دخل أبو الفضل يوما مدينة سوسة فمرّ بدكان إسفنجي يعمل الزلابية ورأى أمامه صبيّا مع أمّه يبكي بدموع حارة فقال لأمّ الصبيّ : ما له يبكي ؟ فقالت : خرجت وهو معي فلما رأى الزلابية اشتهاها ، فقال لها : أبوه حيّ أم ميت ؟ قالت : بل مات وهو يتيم كما ترى . فأخذ بيد الصبيّ وقال للإسفنجي صاحب الدكان : - خذ هذا المنديل - ونزعه عن رأسه - وأطّعم هذا الصبيّ حتى يشبع . ومضى حاسر الرأس إلى قصر سهل " . وحكى عن نفسه ، قال : " كنت بسوسة ففاجأت مخاوف من العدوّ ظهرت له