وأمره باثبات اسمه بين يديه، فأبيت، فانصرف الأنصاري من عنده، في جمع كثير حتى أتى منزله فَقَالَ لَهُ ابن أبي عنبسة في عزل ابن سوار وولاية الأنصاري:
أتانا عَن البصرة المخبرون ... بما سر ذا النعل والحافيا
بعزل ابن سارق عَبْد النبي ... وصار ابن خادمة قاضيا
فلا رضى الله عَن كل من ... لحاليهما لم يكن راضيا
فقد سكنا لناس واستوسقوا ... وأصبح أمرهم هاديا
فكم للأمير من المسلمي ... ن والمسلمات بها داعيا
بأن يعلى الله كعب الأمير ... ولا يزال لنا واليا
فكان الأنصاري قاضيًا، إِلَى أن ظهرت المبيضة في سنة تسع وتسعين ومائة، فلزم الأنصاري بيته والقائم على البصرة يومئذ، من قبل المبيضة، العباس بْن مُحَمَّد بْن عيسى بْن مُحَمَّد بْن عل بْن الله بْن جعفر، فأكره عبيد الله بْن مُحَمَّد بْن حفص ابن عَائِشَة، وأخرجه إِلَى المسجد الجامع، فصلى ركعتين في مجلس القاضي، ثم انصرف على أن يعود فاختفى، ولم يعد، ولم يحكم على البصرة حاكم، حتى انقضى أمر المبيضة، فعاد الأنصاري يحكم بينهم، وكان في عمله الأول أَحْمَد منه في العمل الثاني، غلب عليه ابنه، وموليان له، وعدة من أعوانه
فَقَالَ: أَبُو الأحوص العنبري يهجوه:
قل لأبي ريشة يا ذا الذي ... أصبح في الأحكام جوارا
لو كنت ذا علم بأحكامنا ... أشبهت في الأحكام سوارا