قال الضياء : توفي يوم الجمعة خامس رمضان سنة تسع وعشرين وست مائة . [ ودفن بسفح قاسيون ] .
وقال ابن الجوزي : مرض في بستان الصالح على ثورا [ أحد الأنهر المتفرعة عن نهر بردى ] ومات فيه ، فكفنه الصالح وصلّى عليه . وقال غيره : وقف الملك الأشرف دار الحديث وجعل للجمال أبي موسى وذريته رزقا معلوما ، ومسكنا بعلو دار الحديث .
قال الحافظ الضياء : قال الإمام أبو عبد اللّه يوسف بن عبد المنعم بن نعمة يرثي الحافظ أبا موسى :
لهفي على ميّت مات السرور به * لو كان حيّا لأحيا الدين والسننا
لو كنت أعطى به الدنيا معاوضة * إذا لما كانت الدنيا له ثمنا
يا سيدي ومكان الروح من جسدي * هلّا دنا الموت مني حين منك دنا
وقال فيه أبو محمد عبد الرحمن بن عبد المنعم بن نعمة المقدسي - أخو المذكور - :
هذا المصاب قديما المحذور * قد شاط منه أضلع وصدور
وتقلبت منه القلوب حرارة * والدمع منه ساجم موفور
حمدا فكم بلوى بفقد أحبة * كادت لفقدهم السماء تمور
كانوا نجوما يهتدي الساري بهم * بل هم على مرّ الزمان بدور
فقدت جمال الدين سنة أحمد * ومساجد ومجالس وصدور
من ذا يقوم بوعظه في قلب من * غطّى عليه غفلة وغرور
حتى تلين قلوبهم من بعد ما * حاكى قساوتها صفا وصخور
من للحديث وأهله يا خير من * قرأ الأحاديث التي هي نور
من لليتامى والأرامل من لذي ال * حاجات إن ضاقت عليه أمور
أما القبور فلا تزال أنيسة * بمكان قبرك والديار قبور
جلّت صنائعه فعم مصابه * فالناس فيه كلّهم مأجور