وهدم ابن الزبير الكعبة في جمادى الآخرة سنة 64 ، حتى ألصقها بالأرض ، وذلك أن الحصين بن نمير لما أراد ابن الزبير هدمها امتنع ، وامتنع الناس من الهدم ، فعلا عبد الله بن الزبير على البيت ، فهدم ، فلما رآه الناس يهدم هدموا ، فلما ألصقها بالأرض خرج ابن عباس من مكة إعظاما للمقام بها ، وقد هدمت الكعبة ، وقال له : اضرب حوالي الكعبة الخشب لا تبق الناس بغير قبلة . وروى ابن الزبير عن خالته عائشة زوج النبي أنها قالت : قال لي رسول الله : يا عائشة إن بدا لقومك أن يهدموا الكعبة ثم يبنوها ، فلا يرفعوها عن الأرض ، وليصيروا لها بابين . فلما بلغ ابن الزبير بالهدم إلى القواعد أدخل الحجر في البناء حتى رفعها ، وجعل لها بابين بابا شرقيا وبابا غربيا وصير على كل باب مصراعين ، وكان على بابها الأول مصراع واحد ، وجعل طول البابين إحدى عشرة ذراعا ، وكان ارتفاعها في السماء ثماني عشرة ذراعا ، فجعلها ابن الزبير تسعا وعشرين ذراعا ، ولم يرفعها عن الأرض بل جعلها مستوية مع وجه الأرض . وكان قد أخذ الحجر الأسود فجعله عنده في بيته ، فلما بلغ البناء إلى موضع الحجر أمر فحفر له في الحجارة على قدره ، ثم أمر ابنه عبادا أن يأتي ، وهو في صلاة الظهر ، فيضعه في موضعه ، والناس في الصلاة لا يعلمون ، فإذا فرغ من وضعه كبر ، فجاء عباد بن عبد الله بن الزبير بالحجر ، وأبوه يصلي بالناس الظهر في يوم شديد الحر ، فشق الصفوف حتى صار إلى الموضع ، ثم وضعه ، وطول ابن الزبير الصلاة حتى وقف عليه ، فلما رأت قريش ذلك غضبت وقالت : والله ما هكذا فعل رسول الله ، ولقد حكمته قريش ، فجعل لكل قبيلة نصيبا . وكان الركن لما أصابه الحريق تصدع بثلاث قطع ، فشده ابن الزبير بالفضة ، ولما فرغ من البناء خلق داخل الكعبة وخارجها ، فكان أول من خلقها وكساها القباطي ، واعتمر من التنعيم ، ومشى .