كان معه مع غلام له يعرف بمكنون وأمره أن يتقدمه إلى طرسوس، ورحل هو مخفًا إلى دمشق، فلقي أبا الجيش فأحسن أبو الجيش تلقيه وسر بنظره ووصله وأحسن إليه، وكان يكثر عنده ويحادثه، وكانت لراغب عارضة وبيان وحسن عبارة، وكان قد رأى الخلفاء، وعرف كثيرًا من أخبارهم، فكان يصل مجلسه بشيء من أخبارهم وسيرهم، فأنس به خمارويه وكان يستريح إلى خدمته ومذاكرته، فلما رأى راغب ما يخصه به خمارويه من التكرمة والأنس به والاستدعاء إذا تأخر استحيى أن يذكر له الخروج إلى طرسوس، فلما طال مقامه بدمشق ظن مكنون غلامه أن أبا الجيش قد قبض عليه ومنعه من الخروج إلى الثغر، فأذاع ما ظنه عند المطوعة وشكاه إليهم، وأكثر هؤلاء المطوعة من أهل الجبل وخراسان معهم غلظ الأعجمية وسوء أدب الصوفية، فأحفظهم هذا القول وظنوه حقًا، فقالوا: أتعمد إلى رجل قد خرج إلى سبيل الله محتسبًا نفسه لله ﷿ وفي مقام مثله للثغر قوة للمسلمين وكبت لأعدائهم من الكافرين فتقبض عليه وتمنعه من ذلك جرأة على الله؟ واتفقوا وتجمعوا ومشى بعضهم إلى بعض وأقبلوا إلى واليهم ابن عم خمارويه فشغبوا عليه، فأدخلهم إليه ليسكن منهم [وليجيبهم إلى] ما يحبون، فنهضوا عليه وقالوا: لآ نزال أو يطلق [خمارويه] صاحبنا فإن قتله قتلناك به، وتسع سفلهم إلى داره فنهبت وهتكت حريمه ولحقه كل ما يكره، وجاءت الكتب إلى أبي الجيش بذلك، فأحضر راغبًا وأقرأه الكتب وقال له: والله ما منعناك ولا عسرنا عليك الخروج، ولقد سررنا بقربك وما أوليت فما أوليناك إلا جميلًا، وقد جنى علينا سوء ظن غلامك ما لم نجنه فإن شئت فارحل مصاحبًا، وقل لأهل طرسوس: ياجهلة، ما يومنا فيكم بواحد، تتسرعون إلى ما نكره مرة بعد أخرى، ونغضي عنكم، ويحكم الله ﷿، ولولا المحافظة على ثغر المسلمين وعز الإسلام لا خشية منكم، ولا من كثرتكم وإلى الله الشكوى، ولولا الخوف من غضبه ﷿ لحاربناكم على أفعالكم. فودعه راغب ورحل إلى طرسوس، فلما صح عند أهل طرسوس خبر راغب أطلقوا عن محمد بن موسى بن طولون، فلما أطلقوه قال: قبح الله بلدكم، ورحل عنهم فسكن بيت المقدس، وكان له دين وفيه خير كثير.