ثم ولاه مصر فتوجه إليها ودخلها في النصف من شهر رمضان سنة سبع وثلاثين فتلقاه قيس بن سعد المعزول عن ولاية مصر وقال له يا أبا القاسم إنك قد جئت من عند أمير لا رأي له وليس عزله إياي بمانعي أن أنصح لك وله وأنا من أمركم هذا على بصيرة وإني أدلك على الذي كنت أكيد به معاوية وعمرا وأهل خربتا فكايدهم به فإنك إن كايدتهم بغيره تهلك ووصف له المكايدة التي يكايدهم بها فاستغشه محمد بن أبي بكر وخالفه في كل شيء أمره به ثم كتب إليه علي يشجعه ويقوي عزمه ففتك محمد في المصريين وهدم دور شيعة عثمان بن عفان ونهب دورهم وأموالهم وهتك ذراريهم فنصبوا له الحرب وحاربوه ثم صالحهم على أن يسيرهم إلى معاوية فلحقوا بمعاوية في الشام وكان أهل الشام لما انصرفوا من وقعة صفين ينتظرون ما يأتي به الحكمان فلما اختلف الناس بالعراق على علي رضي الله عنه طمع معاوية في مصر وكان أهل خربتا عثمانية ومن كان من الشيعة كان أكثر منهم فكان معاوية يهاب مصر لأجل الشيعة وقصد معاوية أن يستعين بأخذ مصر على حرب علي رضي الله عنه قال فاستشار معاوية أصحابه عمرو بن العاص وحبيب بن مسلمة وبسر بن أبي أرطاة والضحاك بن قيس وعبد الرحمن ابن خالد وأبا الأعور عمرو بن سفيان السلمي وغيرهم وهؤلاء المذكورين كانوا خواصه فجمع المذكورين وقال هل تدرون ما أدعوكم إليه قالوا لا يعلم الغيب إلا الله فقال له عمرو بن العاص نعم أهمك أمر مصر وخراجها الكثير وعدد أهلها فتدعونا لنشير عليك فيها فاعزم وانهض في افتتاحها عزك وعز أصحابك وكبت عدوك فقال له يا بن العاص إنما أهمك الذي كان بيننا يعني أنه كان أعطاه مصر لما صالحه على قتال علي وقال معاوية للقوم ما ترون قالوا ما نرى إلا رأى عمرو قال فكيف أصنع فقال عمرو ابعث جيشا كثيفا