ابن هرمز سبع سنين وفي رواية ثمان سنين لم أخلطه بغيره وكنت أجعل في كمي تمرًا وأناوله صبيانه وأقول لهم: إن سألكم أحد عن الشيخ فقولوا: مشغول. وكان قد اتخذ تبانًا محشوًا للجلوس على باب بن هرمز يتقي به برد حجر هناك وقيل بل برد صحن المسجد وفيه كان يجلس بن هرمز. قال مالك: إن كان الرجل ليختلف للرجل ثلاثين سنة يتعلم منه فكنا نظن أنه يريد نفسه مع بن هرمز وكان بن هرمز استحلفه أن لا يذكر اسمه في حديث. وقال: كنت آتى نافعًا نصف النهار وما تظلني الشجرة من الشمس: أتحين خروجه فإذا خرج أدعه ساعة كأني لم أرده ثم أتعرض له فأسلم عليه وأدعه حتى إذا دخل البلاط أقول له: كيف قال بن عمر في كذا وكذا؟ فيجيبني ثم أحبس عنه وكان فيه حدة وكنت آتي بن هرمز من بكرة فما أخرج من بيته حتى الليل. وقال الزبيري: رأيت مالكًا في حلقة ربيعة وفي أذنه شنف وهذا يدل على ملازمته الطلب من صغره.