عامل هشام بر اين ناحيه بوده بود ، زيرا چنان كه گفته‌اند به سال صد و پنجم از جانب هشام ولايتدار عراق شد و در جمادى الاول سال صد و بيستم معزول شد . وقتى هشام او را معزول كرد و يوسف در واسط به نزد وى آمد او را بگرفت و آنجا محبوس كرد ، آنگاه يوسف بن عمر به حيره رفت و خالد هيجده ماه تمام با برادر خويش اسماعيل و پسرش يزيد و برادرزاده اش منذر بن اسد در زندان بود . راوى گويد : پس از آن يوسف از هشام اجازه خواست كه در بارهء وى مختار باشد و او را شكنجه كند اما هشام اجازه نداد تا يوسف اصرار كرد و بهانه آورد كه خراج كاهش گرفته و اموال از دست رفته كه هشام براى يك بار به او اجازه داد و كشيكبانى را فرستاد كه شاهد آن باشد و قسم ياد كرد كه اگر خالد در ايامى كه در دست يوسف است بميرد او را خواهد كشت . گويد : يوسف ، خالد را پيش خواند ، در حيره بر سكويى نشست و كسان حضور يافتند . با وى سخنان سبك گفت اما او يك كلمه نگفت تا يوسف دشنامش داد و گفت : « اى پسر كاهن ! » كه شق بن صعب كاهن را منظور داشت . خالد به دو گفت : « تو احمقى كه شرف مرا عيب ميگيرى ولى تو اى پسر شراب - فروش ، پدرت شراب مىفروخت . » گويد : آنگاه يوسف خالد را به زندان باز برد . پس از آن هشام در شوال صد و بيست و يكم به دو نوشت و دستور داد خالد را رها كند . خالد در قصر اسماعيل در خانه هايى پشت پل كوفه جاى گرفت . يزيد بن خالد به تنهايى روان شد و راه ديار طى گرفت تا به دمشق رسيد . پس از آن خالد روان شد ، اسماعيل و وليد نيز همراه وى بودند . عبد الرحمان بن عنبسهء عاصى لوازم سفرشان را فراهم آورد و بنه ها را سوى قصر بنى مقاتل فرستاد . يوسف سوارانى فرستاده بود كه توشه و بنه ها و شتران و وابستگان خالد را كه آنجا بودند گرفتند كه تازيانه شان زد و آنچه را از آنها گرفته بود بفروخت و بعضى وابستگان را به بردگى باز برد . وقتى خالد به قصر مقاتل رسيد همه چيزشان