وفاته بطوس، في يوم الاثنين رابع عشر جمادى الآخرة، سنة خمسٍ وخمسمائة (٥٠٥ هجرية)؛ وعمره خمس وخمسون سنة. قال أبو الفرج بن الجوزي في كتاب "الثبات عند الممات": "قال أحمد أخو الإمام الغزالي: لما كان يوم الاثنين وقت الصبح، توضأ أخي أبو حامد وصلى وقال: عليَّ بالكفن، فأخذه وقبَّله، ووضعه على عينيه، وقال: سمعًا وطاعة للدخول على الملك، ثم مدَّ رجليه، واستقبل القبلة، ومات قبل الإسفار، قدَّس الله روحه". هذا وقد رثاه الأديب أبو المظفر محمد الأبيوردي، الشاعر المشهور، بأبيات فائية منها: مضى وأعظمُ مفقودٍ فُجِعْتُ بِه ... من لا نظيرَ لهُ في الناسِ يخلُفُه وتمثَّل الإمام إسماعيل الحاكمي بعد وفاته بقول أبي تمام من جملة قصيدة مشهورة له: عجبتُ لصبري بعدَهُ وهوَ ميتٌ ... وكنتُ امرءًا أبكي دمًا وهوَ غائبُ على أنها الأيامُ قد صِرْنَ كلُّها ... عجائبَ، حتى ليس فيها عجائبُ وقد دُفن الغزالي ﵀ بظاهر الطابرّان، وهي قصبة طوس، رحمه الله تعالى.