لقد نقل ياقوت الحموي بسنده أن أبا حاتم توفي ليلة الجمعة لثماني ليال بقين من شوال سنة أربع وخمسين وثلاث مئة ( 354 ) للهجرة ، ودفن بعد صلاة الجمعة في الصفة التي ابتناها بمدينة ( بست ) بقرب داره . بينما ذكر الحافظ أبو عبد الله الغنجار في ( تاريخ بخارى ) أنه مات بسجستان سنة ( 354 ) وتعقبه ياقوت بقوله : ( وقبره ببست معروف يزار إلى الآن ، فإن لم يكن نقل من سجستان إليها بعد الموت ، وإلا فالصواب أنه مات ببست ) . تغمده الله بواسع رحمته ، وأسكنه فسيح جنته .