خدمت خدمتكاران باز مىداشت و زبيده از اين موضوع به هارون شكايت كرد ، رشيد به يحيى گفت : چرا زبيده از تو شكايت دارد ؟ در پاسخ گفت : امير المؤمنين مرا امين حرم سرا دانسته و تدبير كاخ را به من واگذارده ، نه به خدا گفتهء زبيده را در بارهء من نپذير ، رشيد گفت : من ديگر سخنى در اين باره نگويم . يحيى در كنترل خادمان قصر سخت‌گيرى كرد و زبيده را بيشتر در فشار گرفت تا آنجا كه شب در خانهء خادمان را قفل مىكرد و كليدها را به منزل خود مىبرد وام جعفر يعنى زبيده از اين موضوع سخت درمانده و بىچاره شد ، و يك روز نزد رشيد رفت و گفت : چرا يحيى هميشه مرا از ملاقات خدم منع مىكند و رعايت حرمت مرا نمىكند ؟ رشيد به او گفت : يحيى در نزد من نسبت به حرم سرا مورد بدبينى و تهمت نيست ، گفت : اگر چنين بود جلو پسرش را مىگرفت كه مرتكب اين خلاف نشود ، گفت : چه خلافى ؟ به او گزارش داد و داستان عباسه و جعفر را به او گفت . هارون دست و پاى خود را گُم كرد و پشيمان شد و به زبيده گفت : براى اين سخن دليل دارى و گواهى در ميان هست ؟ گفت : چه دليلى بهتر از فرزند هست ؟ پرسيد : فرزند كجا است ؟ گفت : اينجا بود ولى چون از فاش شدن آن ترسيد ، او را به مكه فرستاده است ، گفت : جز شخص تو كسى اين موضوع را مىداند ؟ در پاسخ گفت : در كاخ هيچ كنيزكى نيست كه آن را نداند ، هارون از اين موضوع صرف نظر كرد و آن را ناديده گرفت و قصد حج كرد و جعفر را هم با خود برد . عباسه به خادم و پرستار نوشت كه آن طفل را به يمن ببرند ، و چون هارون به مكه رسيد يك بازرس موثقى گماشت كه از امر كودك و دايه و خادم بررسى كند و حقيقت موضوع را فهميد ، و چون حج را انجام داد و برگشت در دل گرفت كه برامكه را از ميان بردارد .