سمع بن وضاح وقاسم بن محمد والخشني وابن زياد وإبراهيم بن قاسم وجماعة سواهم. ورحل فجاور بمكة ودخل اليمن وإقريطش وأفريقية وسمع من علي بن عبد العزيز والقراطيسي ويحيى بن عمر ومحمد بن علي الصائغ وأحمد بن عمرو المالكي.
كان بالأندلس إمام وقته غير مدافع في الفقه والحديث والعبادة ضابطًا متقنًا خيرًا فاضلًا ورعًا منقبضًا متقشفًا جمع علومًا جمة حافظًا عالمًا.
قال أبو عمر بن عبد البر: لم يكن بالأندلس أفقه منه ومن قاسم بن محمد بن قاسم.
وقال بن أبي الفوارس وسئل: أين كان قاسم بن أصبغ من أحمد بن خالد؟ فقال: كان يوم من أيام أحمد أكثر من عمر قاسم وجعل يثني عليه ويصفه بالخير والدين. وغلب عليه آخر عمره نشر العلم. وكانت أمه ترى وهي حامل به من يقول لها: في بطنك نطفة تضيء منها الدنيا. وسمع منه عالم كثير وألف مسند حديث مالك وكتاب فضائل الوضوء والصلاة وحمد الله وخوفه وكتاب الإيمان وكتاب بعض قصص الأنبياء. ولم يزل على الانقباض والعبادة ولزوم بيته ونشر العلم