قال الأصبهاني : وحدّثني أحمد بن محمّد بن سعيد قال : حدّثني يحيى بن الحسن العلوي ؛ وحدّثني غيرهما ببعض قصته ، وجمعت ذلك بعضه إلى بعض قالوا : كان السبب في أخذ موسى بن جعفر عليه السّلام أنّ الرشيد جعل ابنه في حجر جعفر بن محمّد بن الأشعث ، فحسده يحيى بن خالد البرمكي وقال : إن أفضت الخلافة إليه زالت دولتي ودولة ولدي . فاحتال على جعفر بن محمّد - وكان يقول بالإمامة - حتّى داخله وأنس إليه . وكان يكثر غشيانه في منزله ، فيقف على أمره ، فيرفعه إلى الرشيد ويزيد عليه بما يقدح في قلبه . ثمّ قال يوما لبعض ثقاته : تعرفون لي رجلا من آل أبي طالب ليس بواسع الحال يعرّفني ما أحتاج [ إليه ] ؟ فدلّ على عليّ بن إسماعيل بن جعفر بن محمّد ، فحمل إليه ( يحيى بن خالد مالا ) .