هارون الرشيد از فرصت زيارت مكه و مدينه استفاده كرد تا [ امام ] كاظم را دستگير كند . مىگويند اين زيارت يا يك عمره بوده ( در ماه رجب سال 179 ق / سپتامبر - اكتبر 795 م ، يا رمضان سال 179 ق / نوامبر - دسامبر 795 م ) يا يك حج تمتع بوده است ( در ذو الحجه سال 179 ق / فوريه - مارس 796 م ) . به گفته برخى منابع ، [ امام ] كاظم را مستقيما به بغداد فرستادند . بنابر روايات ديگر كه ظاهرا موثقترند ، وى را ابتدا به بصره بردند و والى آن شهر ، عيسى بن جعفر بن منصور ، يك سال او را زندانى كرد . سپس هارون الرشيد دستور قتل امام را صادر كرد ، اما عيسى كه تحت تأثير زهد و تقواى امام قرار گرفته بود از اجراى اين دستور سرپيچيد و در عوض امام را به بغداد فرستاد . امام تحويل فضل بن ربيع ( كه در سال 179 ق / 795 م ، به سمت حاجب منصوب شده بود ) گرديد و در منزل خود تحت نظر قرار گرفت . مىگويند هارون الرشيد به دليل خوابى كه ديده بود مدتى او را آزاد ساخت ، اما بار ديگر وى را دستگير كرد . بعدا ، [ امام ] كاظم به فضل بن يحيى برمكى سپرده شد ، و او نيز امام را در منزل تحت نظر قرار داد ، اما با او رفتارى محترمانه داشت .
[ امام ] كاظم مىتوانست با پيروانش ، كه در اين زمان شامل شيعيان محلى و بومى نيز مىشدند ارتباط داشته باشد . يكى از آنان على بن يقطين ( متوفاى 182 ق / 798 م ) بود كه [ امام ] كاظم از او خواست تا با استفاده از نفوذ خود در بين حكّام ، به شيعيان كمك كند . اين امر در راستاى اين ديدگاه [ امام ] كاظم بود كه خدمت براى يك حكومت نامشروع ( يعنى عباسيان در آن زمان ) اگر در راه پيشبرد آرمان شيعه باشد ، جايز است . على بن يقطين نيز همچون يك مأمور مالى براى [ امام ] كاظم عمل مىكرد و هداياى با ارزشى براى وى مىفرستاد ( ر . ك :
W . Madelung , A treatise of the Sharif al - Murtada on the legality of working for the government , in BSOAS , xliii [ 1980 ] , 17 - 19 ) .