ولما عزم المعز على المسير إلى مصر أجال فكره فيمن يخلفه بالمغرب، فوقع اختياره على أبي أحمد جعفر بن عبد الأمير، فاستدعاه، وأسر إليه أنه يريد استخلافه بالمغرب، فقال: تترك معي أحد أولادك أو أخوتك جالسا في القصر وأنا أدبر، ولا تسألني عن شيء من الأموال إن كان ما أجبيه بازاء ما أنفقه؛ وإذا أردت أمرًا فعلته ولم أنتظر ورود الأمر فيه، لبعد ما بين مصر والمغرب، ويكون تقليد القضاء والخراج وغيره من قبل نفسي. فغضب المعز وقال: يا جعفر: عزلتني عن ملكي، وأردت أن تجعل لي شريكا في أمري، واستبددت بالأموال والأعمال دوني، قم فقد أخطأت حظك، وما أصبت رشدك. فخرج. واستدعى المعز يوسف بن زيرى الصنهاجي، وقال له: تأهب لخلافة المغرب فأكبر ذلك وقال: يا مولانا: أنت وآباؤك الأئمة من ولد رسول الله ﷺ ما صفا لكم المغرب، فكيف يصفوا لي وأنا صنهاجي بربري؟ قتلتني يا مولاي بلا سيف ولا رمح. ولم يزل به حتى أجاب وقال: يا مولانا: بشريطة أن تولي القضاء والخراج لمن تراه وتختاره، والخبر لمن تثق به، وتجعلني أنا قائما بين أيديهم، فمن استعصى عليهم أمروني به حتى أعمل فيه ما يجب، ويكون الأمر لهم وأنا خادم بين ذلك. فحسن هذا من المعز وشكره، فلما انصرف قال له عم أبيه أبو طالب أحمد بن المهدي عبيد الله: يا مولانا: وتثق بهذا القول من يوسف أنه يفي بما ذكره؟ فقال المعز: يا عمنا: كم بين قول يوسف وقول جعفر؟ واعلم يا عم أن الأمر الذي طلبه