قال الضّياء : وتزوّج ببنت خاله رابعة بنت أحمد بن محمد بن قدامة ، فولدت له محمد ، وعبد الرحمن ، وفاطمة ، وعاشوا حتّى كبروا . وتسرّى بجارية في مصر ، فلم توافقه ، ثمّ بأخرى ، فولدت له بنتين ماتتا ولم تكبرا .
سمعت عبد الحميد بن خولان أنّ الضّياء أخبرهم قال : لمّا دخلنا أصبهان كنّا سبعة ، أحدنا الإمام أحمد بن محمد بن الحافظ ، وكان طفلا ، فسمعنا على المشايخ . وكان شيخنا مؤيّد الدّين ابن الإخوة عنده جملة حسنة من المسموعات ، فسمعنا عليه قطعة ، وكان يتشدّد علينا . ثمّ إنّه توفّي ، فضاق صدري لموته كثيرا ، لأنّه كانت عنده مسموعات لم تكن عند غيره . وأكثر ما ضاق صدري لأجل ثلاثة كتب : « مسند العدنيّ » ، و « معجم ابن المقرئ » ، و « معجم أبي يعلى » . وكنت قد سمعت عليه في السّفرة الأولى « مسند العدنيّ » ولكن لأجل رفقتي ، فرأيت في النّوم كأنّ الحافظ عبد الغنيّ رحمه اللَّه قد أمسك رجلا ، وهو يقول لي : أمّ هذا ، أمّ هذا . والرجل الّذي أشار إليه هو ابن عائشة بنت عمر .
فلمّا استيقظت قلت في نفسي : ما قال هذا إلّا لأجل شيء . فوقع في قلبي أنّه يريد الحديث ، فمضيت إلى دار بني معمر وفتّشت الكتب ، فوجدت « مسند العدنيّ » سماع عائشة مثل ابن الإخوة ، فلمّا سمعناه عليها قال لي بعض الحاضرين : إنّ لها سماعا بمعجم ابن المقرئ . قلت : أين هو ؟ قال : عند فلان الخبّاز . فأخذناه وسمعناه منها . وبعد أيّام ناولني بعض الإخوان « معجم أبي يعلى » سماعها . فسمعناه .
أنشدنا ابن خولان : أنشدنا أبو عبد اللَّه الحافظ سنة ستّ وعشرين وستّمائة : أنشدنا أبو عبد اللَّه محمد بن سعد بن عبد اللَّه لنفسه يرثي الحافظ :
هذا الّذي كنت يوم البين أحتسب * فليقض دمعك عنّي بعض ما يجب
لم يبق فيّ الأسى والسّقم جارحة * نفس تذوب وقلب بعد ذا يجب
تا اللَّه لا رمت صبرا عنهم أبدا * وفي الحياة فما لي دونهم أرب