وممن له اختصاص بهم، فساعده هذا كله في تكوينه العلمي، وتضلعه الحديثي، إضافة إلى ما أكرمه الله تعالي به من صلاح أسرته وأهل بيته؛ الذين ترعرع ونشأ منذ نعومة أظفاره بين أوساطهم وهم يوجهونه إلى العلم، قال عبد الغافر في "السياق" كما في "المنتخب" ص (١٦): وبيته بيت الصلاح والورع والتأذين. فحرصوا عليه غاية الحرص، واعتنوا به غاية العناية، فبكروا به إلى مجالس العلم والعلماء صغيرًا، فكان أول سماعه للحديث سنة ثلاثين وثلاثمائة ٣٣٠ هـ أي وعمره لم يتجاوز سن التاسعة، ففي "معرفة علوم الحديث" ص (١٢٨): نشأت وطلبت الحديث بعد وفاة محمَّد بن إسحاق بعشرين سنة. وقال الخطيب في "تاريخه" (٥/ ٤٧٣): ولد سنة إحدى وعشرين وثلاثمائة، وأول سماعه في سنة ثلاثين وثلاثمائة. وقال الذهبي في "النبلاء" (١٧/ ١٦٣): طلب هذا الشأن في صغره بعناية والده وخاله، وأول سماعه كان في سنة ثلاثين. واستمر ﵀ على هذه الحال من الانكباب والتحصيل للعلم، ولم تثنه عن ذلك طفولته، وما تُغري به من اللهو واللعب والدعة والكسل عن الجد والاجتهاد في طلب معالي الأمور.
فقل لمُرَجِّي معالي الأمور ... بغير اجتهاد رجوت المحالا!
ولنباهته منذ حداثته ونبوغه وحدة ذكائه، وتوفر علائم النجابة عليه، جعله ابن حبان -صاحب الصحيح- حين قدم نيسابور سنة أربع وثلاثين وثلاثمائة مستمليًا عليه، وهو ابن ثلاث عشرة سنة، مع وجود من هو أكبر منه سنًا، وأشهر منه ذكرًا، فقد قال متحدثًا عن ذلك في "تاريخ نيسابور" ترجمة ابن حبان: "ثم ورد نيسابور سنة أربع وثلاثين وثلاثمائة، وحضرناه