قفاك قفا جحش ووجهك مظلم ... وعقلك ما يسوى من البعر درهما فلا عشت مودودًا ولا رحت سالمًا ... ولا مت مفقودًا ولا مت مسلما فلم يلبث الفقهاء أن أطبقوا على ذم يخامر وقدحه، وثارت العامة به، فتألب عليه قوم رفعوا فيه إلى الأمير عبد الرحمن يشكونه إليه، فلما كثر ذلك على الأمير أمر الوزراء بالشهادة والنظر في أمر يخامر، فذكرت عنه أشياء مدارها على قلة المدارة وترك حسن المعاملة. قال محمد بن حارث: وأخبرني محمد بن عبد الملك بن أيمن قال: فلما أتى الفتى إلى يخامر بعزله من عند الأمير ﵀ قال له يخامر على رؤوس الناس: قل للأمير - أصلحه الله - إذ وليتني أمرتني أن أتحفظ من السلسلة السوء، واليوم تعزلني ببغيها علي! فلما بلغ الفتى قوله إلى الأمير قال: قبحه الله! ذكر أسرارنا على رؤوس الناس!. وكان الأمير عبد الرحمن قد ضاق بيحيى بن يحيى والفقهاء الضالعين معه في كل ما يشير به ولا يخالفون عن أمره، فكان الأمير عبد الرحمن يكره تألبهم ويقلق منهم ويسميهم سلسلة السوء. فلما ولي يخامر بن عثمان القضاء حفظه منهم وسماهم له هذا الاسم، فتجنبهم يخامر، وأخذ حذره منهم، فلم يلبث أن تمالأوا عليه، فأفشوا ذمه، وأبدوا عيبه، وكرهوه إلى الناس، واعملوا أقلامهم فيه إلى الأمير حتى أمر بعزله فلما أن جاءه الرسول فضح سره بالقول الذي تقدم ذكره، فزاد في كرهه له.