كان ابن المبارك ينكر التدليس في الحديث. وقال له بعض الصوفية وسمعه يصف بعض الرواة: يا أبا عبد الرحمان تغتاب. قال: اسكت، إذا لم نبين فمن أين يعرف الحق من الباطل؟ توفى ابن المبارك بهيت منصرفه من الغزو في سفينة. فدفن بهيت في رمضان سنة إحدى وثمانين ومائة. قال البخاري: ومولده سنة ثمان عشرة ومائة ولما حضرته الوفاة قال لنصر مولاه: اجعل رأسي على التراب. فبكى نصر. فقال ما يبكيك؟ قال ذكرت ما كنت عليه من النعيم وأنت هو ذان تموت فقيرًا غريبًا. فقال له: اسكت. فإني سألت الله أن يحيني حياة الأغنياء ويمتني ميتة الفقراء. ثم قال: لقني ولا تعد علي إلا أن أتكلم بكلام ثان. ولقني حتى يكون آخر كلامي. قال بشر بن قعنب: رأيت في النوم قائلًا يقول: عبد الله ابن المبارك وفلان في الفردوس الأعلى.