الهروي ثلاث أعوام ، وحج فيها أربع حجج ، وكان يسكن معه بالسراة ، ويتصرف له في جميع حوائجه .
ثم رحل إلى بغداد فأقام فيها ثلاثة أعوام ، بتدريس الفقه ، ويكتب الحديث ، ولقي فيها جلة من الفقهاء كأبي الطيب طاهر بن عبد اللّه الطبري رئيس الشافعية ، وأبي إسحاق إبراهيم بن علي الشافعي الشيرازي ، والقاضي أبي عبد اللّه الحسن بن علي الصيمري إمام الحنفية .
وأقام بالموصل مع أبي جعفر السمناني عاما كاملا ، يدرس عليه الفقه .
وكان مقامه بالمشرق نحو ثلاثة عشر عاما .
ومن شيوخه المحدثين أبو عبد اللّه محمد بن علي الصوري الحافظ ، وأبو الحسن العتيقي ، وأبو النجيب الأرموي الحافظ ، وأبو الفتح الطناجيري ، وأبو علي العطار ، وأبو الحسن ابن زوج الحرة ، وأبو بكر الخطيب ، وغيرهم .
وروى عنه أيضا أبو بكر الخطيب ، قال : أنشدني أبو الوليد سليمان بن خلف الأندلسي لنفسه :
إذا كنت أعلم علما يقينا * بأن جميع حياتي كساعة
فلم لا أكون ضنينا بها * وأجعلها في صلاح وطاعة
وأخبرني بعض أصحابنا ، قال : سمعت أبا علي بن سكرة الحافظ ، يقول : وقد ذكر شيخه أبا الوليد هذا ، فقال : ما رأيت مثله وما رأيت على سمته وهيئته وتوقير مجلسه .
وقال : هو أحد أئمة المسلمين .
قال : وأخبرنا القاضي أبو الوليد ، قال : كان يحضر مجلس سليمان بن حرب ، رحمه اللّه ، ثلاثة آلاف رجل للسماع منه ، وكان له مستمل كان صوته أخفض من الرعد ، فقيل له : ارفع صوتك لأنا لا نسمع ، فقال سليمان بن حرب : إن علو الإسناد لمن زينة الحياة الدنيا ، وابتدأ يحدث ، فقال : حدثنا حماد بن زيد .
قال القاضي أبو علي : وغير الباجي ، يقول : إن سليمان بن حرب كان يحضره أربعون ألف رجل .
قال أبو الوليد : وسمعت أبا ذر عبد بن أحمد الهروي ، يقول : لو صحت الإجازة لبطلت الرحلة .
قال أبو علي الغساني : سمعت أبا الوليد ، يقول : مولدي في ذي القعدة سنة ثلاث