وفي آخر عام 1360 ه ، توفّي والده بعد عودته من الحج ، فتفرّغ حافظ للدراسة والتحصيل عند شيخه في سامطة ، حيث لازمه ملازمة الظل . ويوزع السنوسي وقت الطالب حافظ فيقول : كان حافظ يقرأ على الشيخ في الجاضع ، بعد صلاة الصبح حتى الضحى ، ثم يغدو بغنمه يرعاها ، فإذا توسطت الشمس كبد السماء رجع إلى القرية ، واستأنف الدراسة حتى صلاة العصر ، فإذا صلى ذهب بغنمه مرة أخرى يرعاها ، فإذا أذنت الشمس بالمغيب روّح بغنمه إلى الزريبة ، ثم استأنف الدرس إلى صلاة العشاء ، وهكذا دواليك لا يكل ولا يمل . وهكذا استوعب في فتره وجيزة أمهات الكتب في الحديث والتفسير ، وبمطالعة الفقه وأصوله والفرائض والنحو ، وعلم الحديث والتوحيد ، هذا زيادة على الكتب الصغيرة والرسائل التي كان يحفظها ويستوعب ما فيها بسرعة . مما دفع شيخه ليسند إليه الجلوس لتدريس التلاميذ ، مع صغر سنه . كان من إعجاب الشيخ القرعاوي بتلميذه حافظ ، أن أولاه ثقته ، وأقامه مدرسا لزملائه الطلاب المستجدين ، حيث عهد إليه إلقاء الدروس النافعة عليهم ، فأفادتهم كثيرا ، كما كان يعيد الدرس بعد إلقاء شيخه ، كما يعمل المعيدون في بعض الجامعات ، لما عنده من قدرة على استظهار ما فهمه ، ليريح شيخه عن الإعادة ثانية وثالثة ، ويشرح لهم ويبسط ما خفي عليهم . وفي عام 1363 ه عيّنه شيخه عبد الله القرعاوي مديرا لمدرسة سامطة السلفية التي كانت أول مدرسة ، وأكبر مدرسة افتتحها الشيخ القرعاوي في المنطقة لطلاب العلم ، ثم أسند إليه الإشراف على مدارس القرى المجاورة . وبعد أن اتسعت دائرة مدارس القرعاوي وكثر عددها في منطقتي تهامة وعسير ، فقد جعل في كل مدرسة واحدا من نجباء تلاميذه ، ليقوم بالتدريس ، ويتولى شؤون إدارتها ، ولذا أسند لتلميذه حافظ العمل مساعدا له يتولى الإشراف على سير التعليم وأمور الإدارة أثناء تجوال الشيخ عبد الله القرعاوي على مدارسه . كما أسند إليه شيخه القيام بواجب التعليم والإشراف في عدة قرى ، منها السلامة العليا ، ومدينة بيش أم الخشب ، وغيرهما من قرى ومدن المنطقة . ثم عاد إلى سامطة مرّة أخرى يدير مدارسها ، ويساعد شيخه في تحمل المسؤولية ، خاصة وأن مدارس الشيخ القرعاوي كان لها كيان خاص ، وتقدير من الدولة . وفي عام 1373 ه افتتحت وزارة المعارف أول مدرسة ثانوية بجازان حاضرة المنطقة ، فعين الشيخ حافظ أول مدير لها ، حيث رشّحه شيخه للمسؤولين وأسندت إليه إدارة التعليم ، غير أنه رفضها لأنها تشغله عن التأليف . بعد فتح المعهد العلمي في سامطة في عام 1374 ه ، عين الشيخ حافظ مديرا له ، بالإضافة إلى قيامه بالتدريس فيه ، وإملاء المذكرات التي يقوم بتدريسها على تلاميذه . وفي عام 1377 ه ، أدى الشيخ حافظ وهو