من النحويين يقول : لم يقل ابن طاهر سوى بيت واحد وهو :
وأعجب شيء سمعنا به * مريض يعاد فلا يوجد
قال المنذريّ : وهذا البيت قد حكاه الخطيب في تاريخه .
سمعت أبا محمد الحسن بن الحسين القيسرانيّ يقول : سمعت ابن طاهر يقول :
كنت في صباي أربط شعري بالحائط حتى لا أنام عن الاشتغال ، وتركت أبوي وسكنت في الفندق إيثارا لطلب العلم أربع عشرة سنة .
وسمعت الفقيه أبا الحسن علي بن أحمد يقول : كان مع ابن طاهر عند دخوله مصر أربعة آلاف دينار ، فيقال أنّ أخاه أخذها منه ، فاختلّ عقله لذلك ، وعاد إلى بجاية .
وسمعت غيره يقول : قال لي شخص أنّه كان ببجاية في مسجد وقت الاختلال وهو بالعمل يسرد أبياتا مجردة ، فعلقتها عنه ، فإذا هي أبيات ستون . انتهى كلام المنذريّ .
وقال الصلاح الصفديّ في تاريخه الكبير : أقرأ بمصر ، وحجّ ، وورد حلب والبصرة ، ثم رجع ، واختلط عقله ، فأقام ببجاية ، وربّما ثاب إليه عقله ، فيتكلّم في مسائل أحسن ما يكون .