عبد الرحمن وحبال بن عمرو ابن عم منصور وحميد بن نصر اللخمي والأصبغ بن ذؤالة وطفيل بن حارثة والسري بن زياد بن علاقة خالد بن عبد الله فدعوه إلى أمرهم فلم يجبهم فسألوه أن يكتم عليهم فقال لا أسمى أحدا منكم وأراد الوليد الحج فخاف خالد أن يفتكوا به في الطريق فأتاه فقال يا أمير المؤمنين أخر الحج العام فقال ولم فلم يخبره فأمر بحبسه وأن يستأدى ما عليه من أموال العراق وقال على عن الحكم بن النعمان قال أجمع الوليد على عزل يوسف واستعمال عبد الملك بن محمد ابن الحجاج فكتب إلى يوسف إنك كتبت إلى أمير المؤمنين تذكر تخريب ابن النصرانية البلاد وقد كنت على ما ذكرت من ذلك تحمل إلى هشام ما تحمل وقد ينبغي أن تكون قد عمرت البلاد حتى رددتها إلى ما كانت عليه فأشخص إلى أمير المؤمنين فصدق ظنه بك فيما تحمل إليه لعمارتك البلاد وليعرف أمير المؤمنين فضلك على غيرك لما جعل الله بينك وبين أمير المؤمنين من القرابة فإنك خاله وأحق الناس بالتوفير عليه ولما قد علمت مما أمر به أمير المؤمنين لأهل الشأم وغيرهم من الزيادة في أعطياتهم وما وصل به أهل بيته لطول جفوة هشام إياهم حتى أضر ذلك ببيوت الأموال قال فخرج يوسف واستخلف ابن عمه يوسف بن محمد وحمل من الأموال والأمتعة والآنية ما لم يحمل من العراق مثله فقدم وخالد بن عبد الله محبوس فلقيه حسان النبطي ليلا فأخبره أن الوليد عازم على تولية عبد الملك بن محمد بن الحجاج وأنه لا بد ليوسف فيها من اصلاح أمر وزرائك فقال ليس عندي فضل درهم قال فعندي خمسمائة ألف درهم فان شئت فهي لك وإن شئت فارددها إذا تيسرت قال فأنت أعرف بالقوم ومنازلهم من الخليفة منى ففرقها على قدر علمك فيهم ففعل وقدم يوسف والقوم يعظمونه فقال له حسان لا تغد على الوليد ولكن رح إليه رواحا واكتب على لسان خليفتك كتابا إليك إني كتبت إليك ولا أملك إلا القصر وادخل على الوليد والكتاب معك مختوما متحازنا فأقره الكتاب ومر أبان بن عبد الرحمن النميري يشترى خالدا منه بأربعين ألف ألف ففعل يوسف فقال له الوليد ارجع