پس از عبور از بازار مدرسه‌اى كه خمارتكين تتشى بنا كرده بود ، به گذرگاه باريكى رسيد كه دو سوى آن را پرچينى از بوته‌هاى خار احاطه نموده بود . به علت باريكى راه ، او از كسان خود پيش افتاد و همين كه تنها شد يك نفر باطنى به او حمله كرد و با كارد ضربه‌اى فرود آورد كه به او نخورد و به استر او خورد . ضارب به سوى دجله گريخت و غلامان ابو طالب او را دنبال كردند و اطراف ابو طالب را خالى گذاشتند . درين وقت باطنى ديگرى موقع را غنيمت شمرد و با كارد ضربه‌اى به پهلوى او زد و او را از استر به زير كشيد و بر زمين انداخت و چند زخم بر او زد . كسان وزير كه بدنبال ضارب اولى رفته بودند برگشتند . ولى دو مرد باطنى به آنان حمله‌ور شدند و آنها هم ترسيدند و فرار كردند و هنگامى دوباره بازگشتند كه ديدند وزير را مثل گوسفند سر بريده‌اند . جسد مقتول كه بيش از سى زخم برداشته بود به خانه‌اش حمل گرديد و قاتلان او نيز به قتل رسيدند . وقتى كه در حمام بود منجمان طالع وى را گرفتند كه ببينند چه ساعتى براى خروج از شهر و رفتن به همدان مناسب است . به دو گفتند : اين وقت بسيار مناسب است و اگر درنگ كنى ، چنين طالع سعدى از دست خواهد رفت . او هم مركب را زين كرد و سوار شد . حتى مىخواست غذا بخورد ، و نگذاشتند و گفتند : درنگ جائز نيست چون ساعت سعد به هدر خواهد رفت . اما سخن منجمان ، هيچ سودى نداشت چون او در همان ساعت به - قتل رسيد . مدت وزارت او سه سال و ده ماه بود . سلطان محمود اموال او و خزانه او را گرفت و پس از او ، وزارت خود را به شمس الملك بن نظام الملك داد .