ولما خرج أهل المدينة عن طاعته وخلعوه، وولوا عليهم ابن مطيع وابن حنظلة، لم يذكروا عنه وهم أشد الناس عداوة له إلا ما ذكر عنه من شرب الخمور، وإتيانه بعض القاذورات، ولم يتهموه بزندقة كما يقذفه بذلك بعض الروافض. بل كان فاسقا، والفاسق لا يجوز خلعه لأجل ما يثور بسبب ذلك من الفتنة وغير ذلك. وقد كان في قتال أهل الحرة كفاية، ولكن تجاوز الحد بإباحة المدينة (لثلاثة) أيام فوقع بسبب ذلك شر عظيم.
وقد كان عبد الله بن عمر بن الخطاب وجماعات أهل بيت النبوة ممن لم ينقض العهد، ولم يبايع أحدا بعد بيعته ليزيد، كما قال الإمام أحمد: ثنا إسماعيل بن علية، حدثني صخر بن جويرية، عن نافع، قال: لما خلع الناس يزيد بن معاوية، جمع ابن عمر بيته وأهله، ثم تشهد، ثم قال: ((أما بعد، فإنا قد بايعنا هذا الرجل على بيع الله ورسوله، وإني سمعت رسول الله صلى الله عليه وسلم يقول: ((إن الغادر ينصب له لواء يوم القيامة يقال: هذه غدرة فلان، وإن من أعظم الغدر -إلا أن يكون الإشراك بالله- أن يبايع رجل رجلا على بيع الله ورسوله ثم ينكث بيعته. فلا يخلعن أحد منكم يزيد، ولا يسرعن أحد منكم في هذا الأمر فيكون السلم بيني وبينه)).
Sayfa 41