كما يتطرق السيد علي حافظ إلى وصف سور المدينة مشيرا إلى متانته وقوة إنشائه فيقول : ( وهو سور ضخم شاهق قوي البناء أنشىء بالحجارة وليس بالجص والنورة ، وقد أحكم تشييده ، وسمكت جدرانه وأسسه وعلت شرفاته وصار كالجبل الأشم محتضنا المدينة المنورة ) . أما عن إزالة أسوار المدينة بعد دخول العهد السعودي وأسبابها فيشير المؤرخ إلى أن إزالة السور والقلعة كان لتوسعة الشوارع ، ولتقريب المواصلات في العهد السعودي ، ولأن الأسوار أصبحت لا لزوم لها ولا مفعول ولم يبق من السور إلا أجزاء بسيطة منزوية عن الأنظار ، ولم يبق من القلعة غير برجها المنافس للجبل الذي بني على جبل « سليع » وبقي من الأبواب « باب المصري » وقد كان خرابا في زمنه مع بعض أجزاء من « باب الجمعة » . ثم يعطي السيد علي حافظ وصفا تاريخيا سريعا لعمارة سور المدينة فيقول : ( والذين بنوا أسوارا على المدينة أو جددوا ما خرب منها همك إسحاق بن محمد الجعدي سنة ( 263 ه / 876 - 877 م ) ، وعضد الدولة بن بويه في زمن الطائع لله العباسي سنة ( 360 ه / 970 م ) وجمال الدين محمد بن أبي المنصور الأصفهاني سنة 500 ه / 1106 م ونور الدين الشهيد محمود بن زنكي حوالي سنة ( 557 ه / 1161 - 1162 م ) والصالح ولد الناصر بن قلاوون سنة ( 755 ه / 1354 م ) والأشرف قايتباي حوالي سنة ( 880 ه / 1475 م ) . ويلاحظ هنا أن السيد علي حافظ قد أعطى تواريخ مخالفة لما اتفق عليه المؤرخون الذين أجمعوا على أن عمارة عضد الدولة بن بويه في زمن الطائع لله كانت بعد سنة ( 360 ه / 970 م ) وقد حددوها في الفترة بين عامي ( 367 - 372 ه / 977 - 982 م ) ، كما أن عمارة جمال الدين الأصفهاني قد كانت عام ( 540 ه / 1145 - 1146 م ) وهذا التاريخ هو ما أجمع عليه معظم المؤرخين ، كما أجمع المؤرخون أيضا على أن عمارة الأشرف قايتباي كانت عام ( 881 ه / 1476 م ) . ثم يتابع السيد علي حافظ حديثه عن الأسوار فيقول : ( وهذه الأسوار كانت تتسع وتضيق أحيانا وتبنى باللبن والحجارة ، وأحيانا توسع وتخرب وتعمر . . . إلخ وأضخمه وأعلاه وأقواه هو السور الذي بناه السلطان سليمان العثماني المتقدم ذكره . وبني بعد بناية سور السلطان سليمان غربي المدينة سور آخر محيط بالبيوت التي في خارج السور الأول في غربه وجنوبه ، بدأ من البقيع واتجه جنوبا إلى قباء فالعنبرية فالقلعة « بباب الشامي » إلى السور الكبير الذي بناه السلطان سليمان العثماني ، وجعلوا لهذا السور خمسة أبواب بابان عند البقيع هما « باب العوالي »