خراسان بعد ولاية الفضل ، فقال الرشيد لجعفر : أين كانت هذه أيام أخيك ؟
قال : في منازل أربابها .
وبلغ الرشيد أن يهوديا ينجم بحكم في عمره ويقرب وقتا ، فأحضره وسأله عما قال فقال : استدللت من النجوم بكذا وكذا ، ودخل جعفر فرأى غمّ الرشيد فقال له : أتحب أن يخرج هذا من صدرك ؟ قال : نعم ، قال : سله عن عمره فإنه بالمعرفة به أولى به من غيره ، قال : فسأله عن ذلك فقال : هو كذا وكذا ، فقال جعفر : اضرب الآن عنقه لتعلم خطأه في عمرك وعمره .
فيحكى ان الرشيد تغير عليه في آخر الأمر وكان سبب ذلك أن الرشيد كان لا يصبر عن جعفر وعن أخته عباسة بنت المهدي وكان يحضرهما إذا جلس للشرب فقال لجعفر : أزوّجكما ليحل لك النظر إليها ولا تقربها فإني لا أطيق الصبر عنكما ، فأجابه إلى ذلك ، فزوّجها منه ، وكانا يحضران معه ثم يقوم عنهما ، وهما شابان ، فجامعها جعفر فحملت منه فولدت له غلاما ، فخاف الرشيد فسيّر به مع حواضن إلى مكة ، وأعطته الجواهر والنفقات . ثم إن عباسة وقع بينها وبين بعض جواريها شر ، فأنهت أمرها إلى الرشيد ، فحج هارون سنة 186 وبحث عن الأمر فعلمه ، وكان جعفر يصنع للرشيد طعاما بعسفان إذا حج ، فصنع ذلك الطعام ودعاه فلم يحضر عنده ، وكان ذلك أول تغير أمرهم .
وقيل كان سبب ذلك . . . . . من أمره ما كان .
وقيل من الأسباب أن جعفرا بنى دارا غرم عليها عشرين ألف درهم فرفع ذلك إلى الرشيد وقيل : هذه غرامة في دار فما ظنك بنفقاته وصلاته وغير ذلك ؟
فاستعظمه .
وحكي أن جعفر بن يحيى لما عزم على الانتقال إلى قصره هذا جمع المنجمين لاختيار وقت ينتقل فيه اليه فاختاروا له وقتا من الليل ، فلما حضر الوقت خرج على حمار من الموضع الذي كان منزله إلى قصره والطرق خالية والناس هادئون ، فلما صار إلى سوق يحيى رأى رجلا قائما وهو يقول :
يدبّر بالنجوم وليس يدري * وربّ النجم يفعل ما يريد
فاستوحش ووقف ودعا بالرجل فقال له : أعد عليّ ما قلت ، فأعاده فقال :