السنة الثانية نهب المدينة وقتل أهلها وأباح نساءها ثلاثة أيام لجنده ، وفي الثالثة غزا الكعبة وسلط عليها المنجنيق وهدمها .
وقال محمد بن علي بن طباطبا المعروف بابن الطقطقي في كتابه الفخري : لقد كان يزيد بن معاوية موفور الرغبة في اللهو والقنص والخمر والنساء وكان يجيد نظم الشعر حتى قيل بدىء الشعر بملك وختم بملك ، ولم يتعرض لتاريخه أحد الا وصفه بالاستهتار بالدين وتعاطي جميع المنكرات مما يشكل اجماعا من المؤرخين والباحثين على استهتاره بالقيم وامعانه في الفحشاء وجميع المنكرات .
ويرد بعض الكتّاب من العرب والمستشرقين هذه الظاهرة البارزة في حياته إلى تربيته ونشأته ، لأن أباه معاوية طلق أمه ميسون بنت بحدل الكلبية وهي حامل به فذهبت إلى أهلها في البادية ووضعته فيها ، وبقي معها إلى أن اجتاز سن الصبا ، ويدعي المؤرخون ان سبب طلاق معاوية لأمه ، هو أنه دخل عليها وهي تنشد الأبيات التالية :
ولبس عباءتي وتقر عيني * أحب إلي من لبس الشفوف
وبيت تخفق الأرياح فيه * أحب إلي من قصر منيف
وبكر تتبع الأظعان صعب * أحب إلي من بغل زفوف
وكلب ينبح الأضياف دوني * أحب إلي من هر ألوف
وخرق من بني عمي فقير * أحب إلي من علج عنيف
فقال لها معاوية : ما رضيت يا ابنة بحدل حتى جعلتني علجا عنيفا الحقي بأهلك فمضت إلى بادية بني كلب ، وكانت قد غلبت عليها النصرانية ووضعته فيها وبقي معها حتى تجاوز دور الطفولة ، ورجح جماعة من المؤرخين ان بعض نساطرة النصارى تولى تربيته وتعليمه فنشأ على لون من التربية النابية تمازجها خشونة البادية وجفاء الطبع على حد تعبير بعض الكتّاب