او را بكشند . ابو مسلم هم مرار بن انس ضبى را براى قتل او فرستاد . مرار بر سفاح وارد شد و گفت : براى قتل ابى سلمه آمدهام . سفاح دستور داد منادى ندا دهد كه امير المؤمنين از ابو سلمه خشنود است او را نزد خود خوانده و خلعت هم به او داده است . بعد از آن ابو سلمه بر سفاح وارد شد و يك شب دير ماند سپس برخاست و راه خانه خود را گرفت . مرار بن انس با ياران خود راه را بر او گرفتند و او را كشتند . بعد شايع كردند كه خوارج او را كشتند روز بعد نعش او را كشيدند و يحيى بن محمد بن على بر او نماز خواند و او را به خاك سپردند . قبر او در هاشميه از ناحيه كوفه است .
سلمان بن مهاجر بجلى در اين حادثه گفت :
ان الوزير وزير آل محمد * اودى فمن يشناك صار وزيرا
يعنى : وزير آل محمد هلاك شد . هر كه بدخواه و دشمن تست وزير خواهد بود ( دشمنت هلاك شود ) .
ابو سلمه را وزير آل محمد و ابو مسلم را امير آل مىگفتند . چون ابو سلمه كشته شد سفاح برادر خود ابو جعفر را نزد ابو مسلم فرستاد . چون بر ابو مسلم وارد شد . عبيد اللّه بن حسن اعرج و سليمان بن كثير بملازمت او پرداختند . سليمان بن كثير بعبيد اللّه گفت : اى مرد ما اميدوار بوديم كه كار شما ( كار بنى العباس ) انجام گيرد هان براى هر كه بخواهيد اين كار برقرار شود بما بگوييد تا به او بگرويم .
( كنايه از قدرت ابو مسلم كه فاعل ما يشاء بود و بنى العباس فاقد قدرت بودند ) عبيد اللّه ( كه آن سخن را شنيد ) گمان برد كه سليمان جاسوس ابو مسلم است و آن سخن را براى اين گفته كه او را امتحان كند ديد اگر خود او ابو مسلم را مسبوق نكند دچار و كشته شود فورا ابو مسلم را از گفته سليمان آگاه كرد . ابو مسلم سليمان بن كثير را احضار كرد و به او گفت : آيا گفته امام را ياد دارى ؟ گفت : آرى . ( امام گفته بود بهر كه سوء ظن ببرى او را بكش ) بنابر اين من نسبت به تو بد گمان شدهام .
گفت : ترا به خدا گفت : هرگز مرا به خدا قسم مده . تو نسبت به امام ( ابراهيم ) داراى غل و غش و خائن هستى . دستور داد گردنش را زدند .