وقتى در مدائن مرگ وى در رسيد سعد بن ابى وقاص به دو گفت « اى ابو عبد الله مرا پندى ده » گفت « هنگامى كه قصدى ميكنى و هنگامى كه حكمى ميدهى و هنگامى كه چيزى تقسيم ميكنى خدا را به ياد داشته باش » آنگاه سلمان گريستن آغاز كرد . به دو گفت « اى ابو عبد الله چرا گريه ميكنى ؟ » گفت « در آخرت گردنه‌اى هست كه فقط مردم سبكبار از آن ميگذرند و من اين همه چيز را اطراف خود مىبينم » و چون نگريستند جز يك ظرف چرمين و كوزه و آفتابه نبود . و عامل وى بر شام ابو عبيدة بن جراح بود كه هميشه جامه پشمين خشن بتن داشت او را ملامت كردند و گفتند تو در شام بسر ميبرى و والى امير المؤمنين هستى سر و وضع خود را تغيير بده گفت « من ترتيبى را كه بروزگار رسول الله صلى الله عليه و سلم داشته‌ام ترك نميكنم . » واقدى در كتاب فتوح الامصار نقل كرده كه عمر در مسجد به پا خاست و حمد و ثناى خدا گفت آنگاه كسان را بجهاد خواند و ترغيب كرد و گفت « ديگر حجاز جاى ماندن شما نيست و پيمبر صلى الله عليه و سلم فتح قلمرو كسرى و قيصر را بشما وعده داده است . به طرف سرزمين ايران حركت كنيد . » ابو عبيد برخاست و گفت « اى امير المؤمنين من اولين كسى هستم كه داوطلب ميشوم » و چون ابو عبيد داوطلب شد مردم نيز داوطلب شدند آنگاه بعمر گفتند « يكى از مهاجر يا انصار را امير مردم كن » گفت « كسى را كه زودتر از همه داوطلب شده است امير آنها ميكنم و ابو عبيد را امير كرد در روايت ديگر هست كه به دو گفتند « چطور يكى از ثقيف را بر مهاجر و انصار امير ميكنى ؟ » گفت « او اول كس بود كه داوطلب شد من نيز او را امير كردم و گفته‌ام كه بدون مشورت مسلم بن اسلم بن - جريس و سليط بن قيس كارى را فيصل ندهد و گفته‌ام كه اين دو تن از جنگجويان بدر هستند . » ابو عبيد حركت كرد و با گروهى از عجمان بر خورد كه سالارى بنام جالينوس داشتند و شكست خوردند ابو عبيد برفت تا از فرات گذشت و تنى