حسنة وممتعا في حديثه ، أديبا ، عالما بالسياسة والتدبير ، وكان ذا يسار ويعالج الصرف بالكوفة ، وأنفق أموالا كثيرة في إقامة دولة بني العباس ، وصار إلى خراسان في هذا المعنى ، وأبو مسلم الخراساني يومئذ تابع له في هذا الامر ، وكان يدعو إلى بيعة إبراهيم الإمام أخي السفاح ، فلما قتله مروان بن محمد آخر خلفاء بني أمية بحرّان وانقلبت الدعوة إلى السفاح ، توهموا من أبي سلمة المذكور أنه مال إلى العلويين ، فلما ولي السفاح واستوزره بقي في نفسه منه شيء ، فيقال :
إن السفاح سيّر إلى أبي مسلم وهو بخراسان يعرّفه بفساد نية أبي سلمة ويحرّضه على قتله ، ويقال : إن أبا مسلم لما اطلع على ذلك كتب إلى السفاح وعرّفه بحاله وحسّن له قتله ، فلم يفعل ، وقال : هذا الرجل بذل ماله في خدمتنا ونصحنا ، وقد صدرت منه هذه الزلة ، فنحن نغتفرها له .
فلما رأى أبو مسلم امتناعه من ذلك سيّر جماعة كمنوا له ليلا ، وكانت عادته أن يسمر عند السفاح ، فلما خرج من عنده وهو في مدينته بالأنبار ولم يكن معه أحد وثبوا عليه وخبطوه بأسيافهم ، وأصبح الناس يقولون : قتلته الخوارج ، وكان قتله بعد خلافة السفاح بأربعة أشهر ، وولي السفاح الخلافة ليلة الجمعة ثالث عشر شهر ربيع الآخر سنة اثنتين وثلاثين ومائة . ولما سمع السفاح بقتله أنشد :
إلى النار فليذهب ومن كان مثله * على أي شيء فاتنا منه نأسف
وذكر في كتاب « أخبار الوزراء » أن قتله كان في رجب سنة اثنتين وثلاثين ومائة .
وكان أبو سلمة يقال له : وزير آل محمد ، فلما قتل عمل في ذلك سليمان ابن المهاجر البجلي :
إنّ المساءة قد تسرّ وربما * كان السرور بما كرهت جديرا
إن الوزير وزير آل محمد * أودى فمن يشناك كان وزيرا
ولم يكن خلّالا ، وإنما كان منزله بالكوفة في حارة الخلالين ، فكان يجلس