وإن قلنا: إنما هو للمسلمين، فحينئذ الإمامُ ينظر في الابتداء للمسلمين في أصلح مَنْ يجد، فإذا وجد، لم يكن له عزلُه من غير موجبٍ شرعيٍّ يمنع منه. وقد اختلفت الرواية عن أحمد ﵁ في القاضي، هل ينعزل بعزل السلطان مع صلاحيته؟ على روايتين: إحداهما: ينعزل، وعليها العمل. والروايه الثانية: لا ينعزل، وأصلهما ذلك. وقد كان في عصر النبوة من ولاة القضاء؛ كعليٍّ وغيرِه، ثمَّ وقع ذلك في زمن عمر، إلا أنه لم يكن على باب الاختصاص، ثمَّ وقع في ولاية عليٍّ على باب الاختصاص، فولّى شُرَيحًا، وسماه بقاضي المسلمين، وقبِل أحكامَه حتى على نفسه، ثمَّ استمر على ذلك الخلفاءُ بعدَه ثمَّ وقع الاصطلاح: أن الخليفة يولِّي واحدًا لا غيرَ في جميع معاملاته، وسَمَّوْه بـ: قاضي القضاة، وهو يولِّي مَنْ تحتَ يده في سائر البلاد. وكان أولَ من فعل بذلك أبو يوسف صاحبُ أبي حنيفة، ثمَّ استمر بعدَه الأمرُ على ذلك، وكان ممن ولي كذلك: القاضي أبو يعلى بن الفَرَّاء من الحنابلة، وغيره من الحنفية والشافعية، ولم يكن يُقصد من مذهب واحد. ثم إنه بعدَ ذلك كان يخصُّ كلُّ بلد بقاضٍ من الإمام، وكان يقع الإجتهادُ في أن يكون أعلمَ من يوجد، وأفضلَه.