بود . سپس بهاى خانههاى مذكور را به محتسب داد و محتسب به دستور وى عمل كرد . پس از آن ظهير الدّين فرستاده خانهها را خراب كردند .
ظهير الدّين در زمان وزارت خود به حجّ بيت اللّه رهسپار شد ، و سابقه ندارد وزيرى جز ظهير الدّين در زمان وزارت خود به حجّ رفته باشد ، زيرا وزراى پيش از وى هنگامى كه از وزارت بر كنار مىشدند به حجّ مىپرداختند ، مگر برامكه كه آنان در حال وزارت خويش به حجّ بيت اللّه مىرفتند .
سلطان جلال الدّين ملكشاه عزل اين وزير را از مقتدى خواستار شد ، مقتدى نيز به صورت خوشى كه هيچ وزيرى بدان صورت بر كنار نشده بود توقيع عزل ظهير الدّين را صادر كرد . ظهير الدّين نيز به خانهء خود رهسپار شد ، و در آن حال اين بيت را مىخواند :
تولّاها و ليس له عدوّ * و فارقها و ليس له صديق
« در حالى كه دشمن نداشت منصب وزارت را به عهده گرفت ، و از آن جدا شد در حالى كه دوستى براى او نمانده بود » .
ظهير الدّين از آن پس گوشهگيرى اختيار كرد و به زهد پرداخت ، و لباس پنبهاى پوشيد ، و به حجّ رهسپار شد ، و در مدينهء رسول ( ص ) اقامت گزيد ، و در حالى كه جامهء كرباسين درشت بر تن داشت مسجد نبوى را جاروب مىكرد ، و حصيرهاى آن را مىگسترانيد ، و چراغها را مىافروخت . ظهير الدّين در آن جا نيز به حفظ قرآن اشتغال ورزيد .
وى اشعارى نيز مىسرود كه نامطبوع نبود . از آن جمله است :
أنّ من شتّت الجميع من الشّم * ل قدير بان يجمّع اهلا
لست مستيئسا و ان طال هجر * ربّ هجر يكون عقباه وصلا