وأخذ ابن غانم في بغداد عن أبي يوسف القاضي وعن جماعة من مشاهير أعلام القرن الثاني يطول تعدادهم ، وسمع منه بالمشرق القعنبي وعبد الرحمن بن القاسم وغيرهما ، وروى له البخاري في صحيحه 1 . وبعد أن ملأ ابن غانم وطابه علما ورواية عاد إلى بلده وأخذ يدرّس في جامعها الكبير ، جامع عقبة بن نافع . عن سحنون قال : " قرأ علينا ابن غانم كتابا من الموطّأ فقال له رجل - يا أبا عبد الرحمن - : أيعجبك هذا من قول مالك ؟ فقال ابن غانم - وألقى الكتاب من يده - : أو ليس وصمة عليّ في ديني وعقلي أن أرد على مالك قولة قالها ، واللّه لقد أدركت العباد الذين يتورعون عن الذرّ فما فوقه ، سفيان ودون سفيان ، فما رأيت بعيني أورع من مالك " . وهذا من حسن أدبه . وقال معمر : كان ابن غانم يقرأ لنا كتب أبي حنيفة وأصحابه في الأسبوع يوما ، وفي هذا دليل على أن في ذلك العصر لم يكن تعليم الفقه مرتبطا بمذهب من مذاهب السنة ولا منحصرا فيه ، وإنما كان علماء الدين يدرسون آراء كل المجتهدين بلا فرق ولا ميز ، وإنما تميزت المذاهب وظهر التحيّز في درس كلّ مذهب بانفراده في آخر القرن الثالث وأوائل الرابع . وقد انتفع بتعليم ابن غانم خلق كثير من كلّ الطبقات . ولما قدم روح بن حاتم المهلّبي أميرا على إفريقية من قبل هارون الرشيد بادر بتولية ابن غانم القضاء ( رجب سنة 171 ه ) . حكى روح بن حاتم قال : " دخلت على أبي يوسف قاضي القضاة ببغداد لأودّعه - وكان لي صديقا - فقلت له : أصلحك اللّه يا أبا يوسف إن أمير المؤمنين ولّاني أمر إفريقية ، فهل لك في حاجة ؟ فقال لي : أوصيك بتقوى اللّه عزّ وجلّ وبأهل مدينة القيروان وبها شاب يقال له عبد اللّه بن غانم قد تفقه وهو حسن الحال ، فولّه القضاء فقلت له : نعم ، فودّعته وانصرفت ، فمن ذلك اليوم عقدت ولايته بقلبي " .