له مناظرات كثيرة مع المرجئة والمعتزلة ومع أبي حنيفة ، وبينهما حكايات ، منها أن أبا حنيفة قال له يوما : يا أبا جعفر ! تقول بالرجعة ؟ قال : نعم . فقال له : أقرضني من كيسك هذا خمسمائة دينار ، فإذا رجعنا أنا وأنت رددتها إليك ! فأجابه في الحال : أريد ضامنا يضمن لي أنك تعود إنسانا ، فإني أخاف أن تعود قردا ! وكان بارعا في الكلام إماما فيه ، قال أبو خالد الكابلي : رأيت صاحب الطاق وهو قاعد في الروضة ، وقد قطع أهل المدينة أزراره ، وهو دائب يجيب ويسألونه ، فدنوت منه ، فقلت : إن أبا عبد الله الصادق ( عليه السلام ) ينهانا عن الكلام . فقال : هل أمرك أن تقول لي ذلك ؟ فقلت : لا والله ، ولكن أمرني أن لا أكلم أحدا . قال : فاذهب وأطعه في ما أمرك . فدخلت على أبي عبد الله ( عليه السلام ) فأخبرته بقصة صاحب الطاق ، فتبسم أبو عبد الله ( عليه السلام ) وقال : يا أبا خالد ! إن صاحب الطاق يكلم الناس فيطير وينقض ، وأنت إن قصوك لن تطير . وورد في حديث صحيح عن الصادق ( عليه السلام ) أنه قال : أربعة أحب الناس إلي أحياء وأمواتا : بريد بن معاوية العجلي ، وزرارة بن أعين ، ومحمد بن مسلم ، وأبو جعفر الأحول ، أحب الناس إلي أحياء وأمواتا " . وقد جمع مناظراته مع أصحاب الفرق والمقالات في كتب ، منها : كتاب كلامه على الخوارج وكتاب مجالسه مع أبي حنيفة والمرجئة وله