رجع إلى مصر سنة أربع وثلاثين وخمسمائة ، فقاتلهم عند باب القصر وهزمهم ، ثم افترق عنه أصحابه وأرادوا العود إلى الشام ، فبعث عنه الحافظ ابن مضيال وحبسه بالقصر إلى سنة ثلاث وأربعين وخمسمائة .
فنقب الحبس وهرب إلى الجيزة ، وجمع المغاربة وغيرهم ورجع إلى القاهرة ، وقاتلهم عند جامع ابن طولون وهزمهم ، ثم دخل القاهرة ونزل عند جامع الأقمر ، وأرسل إلى الحافظ في المال ليفرقه ، فبعث عشرين ألفا على عادتهم مع الوزير ، ثم استزاد عشرين وعشرين .
وفي خلال ذلك وضع الحافظ عليه جمعا كثيرا من السودان ، فحملوا عليه وقتلوه ، وجاءوا برأسه إلى الحافظ .
واستمر الحافظ في دولته مباشرا لأموره ، وأخلى رتبة الوزارة فلم يولّ أحدا بعده .
وفاة الحافظ وولاية ابنه الظافر :
ثم توفي الحافظ لدين اللّه عبد الحميد ابن الأمير أبي القاسم أحمد ابن المستنصر سنة أربع وأربعين وخمسمائة لتسع عشرة سنة ونصف السنة من خلافته . وعن أبي العالية يقال : بلغ عمره سبعا وسبعين سنة ولم يزل في خلافته محجور الوزارة . ولما مات ولي بعده ابنه أبو منصور إسماعيل بعهده إليه بذلك ، ولقب الظافر بأمر اللّه .
وزارة ابن مضيال ثم ابن السلار :
كان الحافظ لما عهد لابنه الظافر أوصاه بوزارة ابن مضيال ، فاستوزره أربعين يوما ، وكان علي بن السلار واليا على الإسكندرية ومعه بلارة ابنة عمه القاسم وابنه منها عباس ، وتزوجت بعده بابن السلار . وشب عباس وتقدم عند الحافظ حتى ولي الغربية ، فلم يرض ابن السلار وزارة ابن مضيال واتفق مع عباس على عزله .
وبلغ الخبر إلى ابن مضيال ، فشكا إلى الظافر فلم يشكه ، فقال ذوو الحرب : ليس هنا من يقاتل ابن السلار ؛ فغضب الظافر ودس عليه من بني علي مصلحية ، فخرج إلى الصعيد .