هاجر گفت : بايد در اين مورد از ابراهيم عليه السلام اجازه بگيرم .
ابراهيم بفاصله سه روز از اين جريان براى ملاقات آنها آمد . هاجر به او گفت در اين مكان طايفهاى است از « جرهم » تقاضا دارند كه اجازه دهى در نزديكى ما اقامت گزينند ابراهيم عليه السلام با اين تقاضا موافقت كرد و هاجر به قبيلهء جرهم موافقت ابراهيم عليه السلام را اعلام نمود .
آنان در جوار اسماعيل و هاجر فرود آمدند و خيمههاى خود را برافراشتند هاجر و اسماعيل با آنها انس گرفتند .
پس از مدتى ابراهيم عليه السلام مجدداً براى ملاقات اسماعيل و هاجر به مكه آمد و چون جمعيت زيادى را در اطراف آنها ديد بسيار خرسند گرديد .
اسماعيل چون بزرگ شد هر يك از افراد قبيله « جرهم » يك يا دو گوسفند به او اهداء كردند و به اين ترتيب وسيله معيشت هاجر و فرزندش كاملًا تأمين شد .
هنگامى كه اسماعيل به حد بلوغ رسيد خداوند فرمان تأسيس خانهء كعبه را بابراهيم عليه السلام صادر فرمود ابراهيم عرضكرد پروردگارا در چه نقطهاى آن را بنا كنم خداوند فرمود در آن نقطهاى كه قبهاى براى آدم نازل كرده بودم و آن قبه تمام « حرم » را روشن كرده بود .
حضرت صادق عليه السلام فرمود قبهاى كه خداوند متعال براى آدم نازل كرده بود تا زمان نوح عليه السلام هم چنان برپا بود ولى در روزگار طوفان نوح عليه السلام هنگامى كه آب روى زمين را فرا گرفت خداوند آن قبه را به آسمان برد و « مكه » در آن جريان غرق نشد و به همين مناسبت
« بِالْبَيْتِ الْعَتِيقِ
يعنى سرزمين « آزاد شده از غرق » ناميده شد .
و وقتى ابراهيم را بتأسيس خانهء كعبه مأمور ساخت او نميدانست كه آن را در چه نقطهاى بنا كند تا اينكه خداوند جبرائيل عليه السلام را مأمور كرد كه موضع خانهء كعبه را با خطوطى معين كرد و پايههاى آن را از بهشت آورد و آن سنگى كه خداوند آن را براى آدم عليه السلام فرود آورده بود ، در ابتدا از برف سفيدتر بود اما هنگامى كه دستهاى كفّار آن را لمس كرد رنگ آن تغيير كرد و سياه گرديد .