ترك قبول بيعته إلّاوفي عنقه جامعة يُقدّم به فيها ، فقال له عبداللَّه بن جعفر ومعاوية بن يزيد : يا أمير المؤمنين ! إنّ ابن الزّبير رجل أبيٌّ لَجوج ، فدَعْهُ على أمره ولا تَهِجهُ لما لا تحتاج إليه . فأوفدَ إليه الحُصينَ بن نُمير السّكونيّ ، ومسلم بن عُقْبة المُرِّيّ ، وزُفَر بن الحارث الكِلابيّ ، وعبداللَّه بن عِضاة الأشعريّ ، ورَوْح بن زِنْباع الجُذاميّ ، ومالك بن هُبيرة السّكونيّ ، ومالك بن حَمْزَة الهَمْدانيّ ، وأبا كَبْشَة السّكْسَكيّ ، وزَمْل بن عمرو العُذْريّ ، وعبداللَّه بن مَسْعَدة الفزاريّ ، وناتل بن قيس الجُذاميّ ، والضّحّاك بن قيس ، وأمرهم أن يعلموه أنّه إنّما بعث بهم احتجاجاً عليه وإعذاراً إليه ، وأن يُحذِّروه الفتنة ، ويُعرِّفوه ما له عنده من البرّ والتّكرمة إذا أبرّ يمينه وأتاه في الجامعة الّتي بعثَ بها إليه معهم ، وكان قد دفع إليهم جامعة من فضّة . فقال له ابن عِضاه : يا أبا بكر ! قد كان من أثرَك في أمر الخليفة المظلوم ونصرتكَ إيّاه يوم الدّار ما لا يُجهّل ، وقد غضب أمير المؤمنين بما كان من إبائكَ ممّا قدمَ عليك فيه النّعمان وهمّام ، وحلف أن تأتيه في جامعة خفيفة لِتحلّ يمينه ، فالبس عليها برنساً فلا تُرى ، ثمّ أنتَ الأثير عند أمير المؤمنين الّذي لا يُخالف في ولايةٍ ولا مالٍ ، وقال له القوم مثل ذلك . فقال : واللَّه ما أنا بحامل نفسي على الذِّلّة ولا راضٍ بالخِسْف ، وما يحلّ لي أن أفعل ما تدعوني إليه ، فليجعل يزيد يمينه هذه في أيمانٍ قد حنثَ فيها . وقال أيّوب بن زُهير بن أبي أميّة المخزوميّ : ليست يمين يزيد في ابن الزّبير بأوّل يمين حنثَ فيها ، ووجبَ عليه تكفيرها ولا آخِرها ، ثمّ بسط ابن الزّبير لسانه في يزيد بن معاوية وتنقّصه ، وقال : لقد بلغني أنّه يُصْبح سكران ويُمْسي كذلك ، ثمّ تمثّل قول الشّاعر : ولا ألينُ لِغَيْر الحَقِّ أسْألهُ * حتّى يَلينَ لضِرْسِ الماضِغ الحَجَرُ يا ابن عِضاه ! واللَّه ما أصبحتُ أرهَب النّاس ولا الباس ، وإنِّي لعلى بيِّنةٍ من ربِّي وبصيرةٍ من ديني ، فإن أُقْتَل فهو خيرٌ لي ، وإنْ مِتُّ حتفَ أنفي ، فاللَّه يعلم إرادتي وكراهتي لأنْ يُعمَل في أرضه بالمعاصي ، وأجاب الباقين بنحوٍ مِنْ هذا القول . وقال الواقديّ ، والهيثم بن عديّ في روايتهما : قال ابن الزّبير لابن عِضاه : إنّما أنا حمامة