صرفه عنها السلطان الملك العادل طومانباي الأول يوم الاثنين ثاني عشر من رجب سنة ست وتسعمائة، حيث تحزب عليه جمع من مشايخ المدرسة بسبب يبسه معهم ومعاندته لهم بحيث أخرج وظائف كثيرة عنهم وقرر فيها غيرهم، وحصل له إهانات من ترسيم وإساءات وأمر بنفي، وكانت حكايات كما يقول صاحب "البدر الطالع" فيما علقه على الضوء اللامع بخطه ثم انقطع بسكنه في الروضة وتزهد. وكان يأتي إليه أعيان الأمراء للزيارة فلا يقوم لهم، وعرضت عليه مشيخة البيبرسية سنة ٩٠٩ فامتنع من قبولها واستمر على انقطاعه، وكان الأمراء والأغنياء يأتون إلى زيارته ويعرضون عليه الأموال النفيسة فيردها، وأهدى إليه السلطان الملك الأشرف قانصوه الغوري خصيًّا وألف دينار فرد الألف وأخذ الخصيّ فأعتقه وجعله خادمًا في الحجرة النبوية وقال لقاصد السلطان: لا تعد تأتينا بهدية قط فإن الله تعالى أغنانا عن مثل ذلك. وطلبه السلطان مرارًا فلم يحضر إليه على ما ذكره النجم الغزي في