وكان يقول كتبت بيدي مائة ألف حديث. وروي عنه أنه قال: حدثني بن شهاب بأربعين حديثًا ونيف - منها حديث السقيفة فحفظت ثم قلت: أعدها علي فإني أنسيت النيف على الأربعين فأبى فقلت: أما كنت تحب أن يعاد عليك قال بلى فأعاد فإذا هو كما حفظت. وفي رواية بن شهاب قال له ما استفهمت عالمًا قط ثم استرجع. وقال ساء حفظ الناس لقد كنت آتي سعيد بن المسيب وعروة والقاسم وأبا سلمة وحميدًا وسالمًا وعد جماعة فأدور عليهم أسمع من كل واحد من الخمسين حديثًا إلى المائة ثم أنصرف وقد حفظته كله من غير أن أخلط حديث هذا بحديث هذا. وفي رواية أخرى: لقد ذهب حفظ الناس ما استودعت قلبي شيئًا قط فنسيته. قال بن أبي أويس: سمعت مالكًا يقول: إن هذا العلم دين فانظروا عمن تأخذونه لقد أدركت سبعين ممن يقول: قال رسول الله ﷺ عند هذه الأساطين وأشار إلى المسجد فما أخذت عنهم شيئًا وإن أحدهم لو ائتمن على بيت مال كان أمينًا إلا أنهم لم يكونوا من أهل هذا الشأن.