واضطر الحافظ إلى عزل هزير الملوك ثم قتله ، وولي أبو علي أحمد ابن الأفضل الوزارة ، وحبس بدست أبيه ورد الناس أموال الوزارة المقضية ، واستبد على الحافظ ومنعه من التصرف ونقل الأموال من الذخائر والقصر إلى داره . وكان إماميا متشددا ، فأشار عليه الإمامية بإقامة الدعوة للقائم المنتظر ، وضرب الدراهم باسمه دون الدنانير ، ونقش عليها : ( اللّه الصمد الإمام محمد ) وهو الإمام المنتظر ، وأسقط ذكر إسماعيل من الدعاء على المنابر وذكر الحافظ ، وأسقط من الأذان : حي على خير العمل ، ونعت نفسه بنعوت أمر الخطباء بذكرها على المنابر . وأراد قتل الحافظ بمن قتله الآمر من إخوته ، فإن الآمر أجحفهم عند نكبة الأفضل وقتلهم ، فلم يقدر أبو علي على قتله فخلعه واعتقله ، وركب بنفسه في المواسم وخطب للقائم مموها ، فتنكر له أولياء الشيعة ومماليك الخلفاء ، وداخل يونس الجند من كتامة وغيرهم في شأنه فاتفقوا على قتله . وترصد له قوم من الجند فاعترضوه خارج البلد وهو في موكبه وهم يتلاعبون على الخيل ، ثم اعتمدوه فطعنوه وقتلوه ، وأخرجوا الحافظ من معتقله وجددوا له البيعة بالخلافة . ونهب دار أبي علي ، وركب الحافظ وحمل ما بقي فيها إلى القصر .
واستوزر أبا الفتح يانسا الحافظي ولقبه أمير الجيوش ، وكان عظيم الهيبة بعيد الغور ، واستبد عليه فاستوحش كل منهما بصاحبه . ويقال إن الحاكم وضع له سمّا في المستراح هلك به وذلك آخر ذي الحجة سنة ست وعشرين وخمسمائة .
قيام حسن بن الحافظ بأمر الدولة ومكره بأبيه ومهلكه :
ولما هلك يأنس أراد الحافظ أن يخلي دست الوزارة ليستريح من التعب الذي عرض منهم للدولة ، وأجمع أن يفوض الأمور إلى ولده ، وفوض إلى ابنه سليمان ، ومات لشهرين .
فأقام ابنه الآخر حسنا ، فحدثته نفسه بالخلافة وعزم على اعتقال أبيه وداخل الأجناد في ذلك فأطاعوه ، واطلع أبوه على أمره ، ففتك بهم ، يقال إنه قتل منهم في ليلة أربعين . وبعث أبوه خادما من القصر لقتله فهزمه حسن .