ذكر أبو مروان بن حيان أن المنصور محمد بن عبد الله بن أبي عامر استوزره قبل سائر أصحابه في سنة إحدى وثمانين يعني وثلاثمائة في خلافة هشام المؤيد بالأندلس، واستخلفه أوقات مغيبه على المملكة، وصير في يده خاتمه، فلما تناهت حاله في الجلالة، وأملته الخاصة والعامة، اتهمه المنصور بأنه قد زهي عليه برأيه، وأنس منه عجبًا بشأنه، فصرفه عن الوزارة وأقصاه عن الخدمة، دون أن يغير عليه نعمة، وكان يقول: والله إن ابن حزم للنصيح جيبًا، الأمين غيبًا، ولكنه زهي برأيه، وظن أن سلطاني مضطر إلى تدبيره! فتردد في نكبته مدة، ثم أخرجه لينظر في كور الغرب باسم الأمانة، فرئم المذلة وتبرأ من الدالة، فلما زكن المنصور ذلك منه، أعاده إلى حسن رأيه فيه، وصرفه إلى خطته.