رأى المصلحة أن يعود إلى المدينة بمن معه. وكان سبب هذه الغزوة أن النبي بعث الحارث بن عمير رسولًا إلى ملك بُصرى عاصمة حوران بكتاب كما بعث إلى سائر الملوك، فلما نزل بمؤتة عرض له عمرو بن شرحبيل الغساني فقتله، ولم يقتل لرسول الله رسول غيره. وقيل: إن هرقل نزل مآب من أرض البلقاء في مائة ألف من الروم وانضمت إليه المستعربة من لخم وجذام وبلقين وبهراء وبَلي في مائة ألف منهم. كانت أخبار الشام عند أهل المدينة كل يوم لكثرة من يرد عليهم من الأنباط فقدمت عليهم قادمة فذكروا أن الروم قد جمعت جموعًا كثيرة بالشام، وأن هرقل صاحب الروم قد رزق أصحابه لسنة، واستنفر العرب المتنصرة فأجلبت معه لخم وجذام وغسان وعاملة وبهراء وكلب وسليح وتنوخ من عرب الشام وزحفوا وقدموا مقدماتهم إلى البلقاء وعسكروا بها، وتخلف هرقل بحمص وضرب الروم على العرب الضاحية البعوث. فرأى الرسول إن لم يبدأ الروم القتال بدءوه به، فأعلم في سنة تسع بالتجهيز لغزو الروم والطلب بدم جعفر بن أبي طالب الذي استشهد في مؤتة في السنة الفائتة. وكان الرسول إذا أراد غزوة وَرّى بغيرها إلا في هذه، لقوة العدو وبعد الطريق والجدب والحر والناس في عسرة. وكان معه ثلاثون ألفًا، والخيل عشرة آلاف، والجمال اثنا عشر ألفًا، ولقي الجيش حرًا وعطشًا. وقد أنفق أبو بكر الصديق في تجهيز هذا الجيش جميع ماله، وأنفق عثمان بن عفان نفقة عظيمة. خرج المسلمون في غزوة تبوك الرجلان والثلاثة على بعير، وخرجوا في حر شديد فأصابهم يومًا عطش شديد حتى جعلوا ينحرون إبلهم فيعصرون أكراشها ويشربون ماءها، فكان ذلك عسرة من الماء وعسرة من الظهر وعسرة من النفقة ولذلك سمي جيش العسرة.