فلم ير نظام الملك بعد هذا منشغلا بشرب الخمر وقضاء شهوة على خلاف الشرع قائلا : يكفي سد واحد .
وقد طلب نظام الملك منه أن يقيم معه في الديوان ، فرفض قائلا : إنه سيضرني ولا ينفعك .
والعقب منه : أبو شجاع الحسين ، وأبو منصور المظفر ، ووجيه العلماء أبو نصر أحمد ، وبنات ، عاشوا وجاوزوا عقبة الستين والسبعين ، ولم يبق لهم عقب .
توفي جدي أبو القاسم رحمه اللّه سنة ثلاث وثمانين وأربع مئة .
وتوفي خالي الرئيس المكرم أبو منصور المظفر ، في شهر ربيع الأول سنة سبع عشرة وخمس مئة .
وأما وجيه العلماء أحمد الذي كان صاحب أدب جزل ، وقول فصل ، وحافظا لكتاب اللّه تعالى ، وعالما بعلوم القرآن ، فقد توفي في شهور سنة إحدى وعشرين وخمس مئة ، ومن منظومه وهو يرثي أخاه أبا شجاع الحسين رحمة اللّه عليه :
بأن الحسين أخي عني فوا حزنا * منه ووا أسفا أن لم أمت أسفا
قد كان درا يتيما لا نظير له * فأصبحت جنة المأوى له صدفا
وقال أيضا وهو يرثي أخاه أبا منصور :
أبو منصور القرم المرجّى * مضى وأنا قرين الاكتئاب
وقد دخلت - إذا أمسى دفينا - * عليّ إساءتي من كل باب
وإني في الجعاب بقيت سهما * سيكسرني الزمان ولا يحابي