فلما كان الحال ما ذكر وأيست من الوالي بتونس في تأسيس التنظيمات ، سعيت في تحسين إدارة المملكة وتأمين راحة السكان بقدر الطاقة والإمكان مستعينا باللّه وبمن كان من أهل المروءة من رجال الحكومة ، إلى أن آل أمري إلى الاضطرار إلى الخروج وأن ترتب عليه ما حصل لنا بعده من الصعوبات بمنع الناس من مخالطتنا ، ولم أتحصل على الحقوق البشرية الواجبة شرعا وطبعا . مع أن ذلك وقع في حق رجل تقلب في سائر رياسات الحكومة ، وحصل على يده مصالح حسب الوسع ، ويسوغ له أن يقول حكاية للواقع أنه بإعانة اللّه وعنايته حمى وحده مدة وزارته جميع السكان من الظلم والتعدي عليهم ، بدليل أنه بعد خروجه من الخطة رجع الأمر لما كان عليه قبل ذلك لأن الوالي في الحكومة لا زال هو بذاته ، وكذلك رجال الحكومة الذين خدموا معه وهم الذين خدموا مع السيد مصطفى أيضا لا زالوا متوظفين ، وهؤلاء قسمان : عفيف في نفسه غير قادر على منع غيره من الظلم ، وظالم كان محجوزا بنا عن ظلمه فانطلق بخروجنا من الخطة ، هذا وأني لا زلت أقول إن تونس لا تستقيم بدون تنظيمات ، وأنها لا بد لإجرائها من الطريقة المار ذكرها وإلا فالتنظيمات في تونس بدون ما ذكر كالعنقاء اسم بلا مسمى ، فلا تغترن بقول من لا يدرك الحقائق واللّه تعالى يرشدنا وإياهم إلى ما يرضيه بمنه آمين انتهى . وبما تقدم من انتقاد بعض التصرفات وجد أضداد الوزير خير الدين السبيل إلى إيقاع التنافر بينه وبين الوالي إلا مسألة القوانين فلم يعرجوا عليها ، غير أن ذلك لم يفدهم لأنه مدفوع بما تقدم شرحه والوالي على علم منه ، فلذلك نزعوا إلى أوجه أخرى وبيانها يستدعي بيان منشأها وأسبابها ، وحاصله أن الوزير خير الدين لما باشر الوظيفة بلقب وزير مباشر لم يكن له ضد في نقض أعماله إلا الوزير السابق مصطفى خزندار ، لكنه لم ينجح لتبصر الوالي فيه ومعرفة سائر المتوظفين والأهالي بتصرفاته التي نفروها ، حتى ذات خدمة الوالي في نفسه وقصره ، فكان الجميع يدا واحدة مع الوزير خير الدين ولما عزل الوزير السابق مصطفى خزندار وولي مكانه الوزير خير الدين واستقر أمره بعد الانفصال معه على ما مر شرحه ، طمعت نفسه للرجوع إلى المنصب أو في الأقل مواجهة الوالي وإسقاط خير الدين عن الوزارة واستعان على ذلك بأفراد من الأجانب وبأحد خاصة الوالي وهو الوزير مصطفى بن إسماعيل ، واعتضد الجميع كل على حسب فوائده فتارة يقدحون في التصرفات العامة وإشاعة ذلك في الصحف الأجنبية ويبلغونها بذاتها أو بتعريبها للوالي بواسطة خاصته المذكور ، لكن لما رأوا عدم نجاح المقصود بذلك لأنه لا يروج على الأهالي لمشاهدتهم حسن إدارة الوزير ، رجعوا إلى إشهار أراجيف تتعلق بالسياسة الخارجية فمنها ما يرجع إلى تنفير الوالي وعائلته من الوزير خير الدين وأشهروا أن للمذكور اتفاقا سياسيا سريا مع الدولة العلية ، ومنها : ما يعود إلى تنفير الأهالي من الوزير المذكور فأشهر أن مراده تسليم البلاد للفرنسيس ، ومنها : ما يعود إلى تخويف أصدقاء الوزير خير الدين وعموم الناس فأشهر أن