كما يلاحظ أن كلا حجرتي هذا البرج السفلى والعليا قد كانتا مأهولتين بالسكان حيث سكنها بعض الفقراء لفترة طويلة انتهت بإخراجهم منها حرصا على سلامتهم وإبعادهم عن أي مخاطر قد يتعرضون لها نتيجة تساقط بعض أجزاء الشرفة العليا والبقايا العليا لأجزاء السور وخاصة بعد إزالة المباني المجاورة للبرج بما فيها الدور والمنازل المشتركة مع البرج من داخل حوش المغربي . وقد تمت إزالة هذا البرج مع المنطقة المجاورة لتنفيذ مشروع خادم الحرمين الشريفين الملك فهد بن عبد العزيز - رحمه الله - للحرم النبوي الشريف والمنطقة المحيطة به .