نشئهء فقر كه در سر داشت ، از حكّام و سلاطين احتراز مىنمود و با درويشان و خاكساران همصحبت مىبود ؛ اگرچه در نفحات مذكور است كه ارادت خواجه به كدام سلسله بوده ، معلوم نمىشود ؛ فامّا در تذكرهء عبد القادر بدوانى از حضرت بندگى نظام الدّين اميتهوى - قدّس سرّه - منقول است كه وى مريد قطب العالم خواجه بهاء الدّين نقشبند - قدّس سرّه - است و سيّد اشرف جهانگير هم كه خرقهء خلافت از آن جناب داشته ، در لطايف اشرفى نگاشته كه حافظ شيراز از فيضيافتگان حضرت خواجه است و اين چاشنى كلام و حلاوت سخن به يمن قبوليّت آن حضرت بوده و اين قول حضرت سيّد به سبب اينكه از خلفاى خواجه و همصحبت حافظ است ، مقرون به صحّت معلوم مىشود .
و خواجه حافظ بس خوشطبع و لطيفهگو بود . گويند در هنگامى كه امير تيمور صاحبقران شيراز را به حيطهء تسخير آورد و خواجه به ملازمتش شتافت ، امير فرمود :
« اى خواجه ! ما سمرقند و بخارا را به مجاهدت به ضرب شمشير مسخّر و مفتوح ساختيم ، تو آن را به يك خال هندو مىبخشى ؛ چنانكه گفتى :
اگر آن ترك شيرازى به دست آرد دل ما را * به خال هندويش بخشم سمرقند و بخارا را
خواجه در جواب التماس نمود كه به همچنين بخشايش بىدريغانه به اين حال فقر و فاقه مبتلا شدهام . امير تيمور متبسّم گشته ، وظيفهء شايسته براى وى مقرّر ساخت .
آخر كار در سنهء اثنين و تسعين و سبعمائة به جنّت المأوى خراميد و در خاك مصلّاى شيراز آسوده گرديد . خواجه به حسب ظاهر رندانه زندگانى مىنمود . بعد رحلت وى بعضى اشخاص به نماز جنازه متأمّل بودند ، تا آنكه ابيات فصاحت سماتش را كه اكثر بر خزفريزه و كاغذ پارهها نوشته در سبوى مىانداخت ، به كودكى اشاره كردند كه از آن برآرد . سردست اين بيت برآمد :
قدم دريغ مدار از جنازهء حافظ * اگرچه غرق گناه است ، مىرود به بهشت