لهم في الاعتقاد، وطلبوا مناظرته، وأرادوا حمله على أن يقول بقولهم، ويعتقد عقيدتهم، ويسجل ذلك لهم بخط يده، ولكنه صمد في وجوههم فناظرهم وأظهره الله عليهم، فما كان منهم إلا أن رفعوا كل ما يختص به وبأصحابه من جامع دمشق بإذن من واليها، وكسروا منبره ومنعوه من الجلوس، ومنعوا أصحابه حتى من الصلاة في الجامع، وكادت تحصل فتنة عظيمة، لولا أن الحافظ كان حكيمًا، فآثر الخروج من دمشق درءًا لشرهم فمضى إلى بعلبك، ومنها إلى مصر، فلاحقه أهل دمشق الذين أرسلوا إلى ملكها العزيز عثمان رسولًا حاملًا إليه افتراءاتهم وتشنيعاتهم على الحافظ، ولكن الله وقاه شر هذه المكيدة، فأقام في مصر معززًا مكرمًا في حماية ملكها الجديد الملك العادل، رغم ما بذله المخالفون في مصر من جهد في سبيل إيذائه، حيث حاولوا إيغار صدر الملك عليه، حتى يقال إنه قد بلغ الأمر ببعضهم أن بذل أموالًا طائلة من أجل قتله، ولكن الله نجاه من مكيدتهم، فلما سافر الملك العادل إلى دمشق وحل محله الملك الكامل، عزم هذا على إخراج الحافظ من مصر لكثرة ما قاله فيه عنده المخالفون، واعتقل في دار سبع ليال، وصفها ﵀