ولم يزل ابن الخلا بالديوان إلى أن طعن في السن، وعجز عن الحركة. فانقطع في بيته. وكان الفاضل يرعى له حق الصحبة والتعليم. ويجري عليه ما يحتاج إليه إلى أن مات رحمه الله تعالى في ثالث عشري جمادى الآخرة سنة ست وستين وخمسمائة. ومن شعره:
وكان الموفق بن الخلال خال القاضي الجليس عبد العزيز بن الحسين بن الحباب فحصل لابن الخلال نكبة وحصل لابن الحباب بسبب خاله ابن الخلال صداع. فكتب ابن الحباب إلى القاضي الرشيد بن الزبير: