نامه و فرمان مامون در جاى ديگرى به او رسيد ( كه او گذشته و دور شده و قادر بر بازگشت نبود ) . كه بايد سوى شام و حجاز لشكر بكشد او اطاعت نكرد و به سفر خود ادامه داد و گفت : من هرگز بر نمىگردم مگر اينكه امير المؤمنين را ملاقات كنم او نسبت بمامون و خاندانش وفادار و ناصح بود و بدين سبب بىباك شده بود كه تصور ميكرد مامون قدر او را مىداند و او را وفادار و صميمى خواهد خواند . خواست بمامون بگويد كه فضل بن سهل بعضى اخبار و حوادث را از او مكتوم مىدارد و نسبت به او مستبد و بدخواه است كه ضد او توطئه مىكند و دسيسه به كار مىبرد . هرثمه تصميم گرفته بود كه مامون را ببغداد برگرداند كه در وسط مملكت قرار گيرد . فضل بن رويه و انديشه هرثمه آگاه شد بمامون گفت : هرثمه ممالك را آشوب كرده و مردم را ضد تو برانگيخته و او ابو السرايا را كه از لشكريان او بود بر انگيخت و بايجاد فتنه و فساد وا داد كرد . من براى او چندين نامه و فرمان فرستادم كه او بشام و حجاز برود و او اطاعت نكرد اكنون با لجاج و عناد به قصد فساد آمده و اگر او را به حال خود بگذارم ديگران هم تمرد خواهند كرد . مامون كينه هرثمه را در دل گرفت . هرثمه هم در سير و سفر خود تأخير كرد و تا ماه ذى القعده عقب ماند و چون بمرو رسيد ترسيد كه خبر ورود او را بمامون ندهند دستور داد طبلها را بكوبند تا مامون بانك كوس را بشنود و آگاه شود . مامون صداى طبل را شنيد و پرسيد به او گفتند : هرثمه با ناز و بىباكى آمده كه رعد و برق بر پا كرده ( و مغرور شده ) . هرثمه پيش خود تصور كرد كه مامون سخن او را قبول و تصديق خواهد كرد . مامون دستور داد او را داخل كنند چون داخل شد مامون به او گفت : تو با اهل كوفه ساختى و علويان را برانگيختى و ابو السرايا را براى فتنه و فساد فرستادى . اگر مىخواستى تمام آنها را بگيرى و نابود كنى مىتوانستى .