أسرته له ﵀ ولدان هما عبد الله أبو نصر مات في حياة والده في بعض ثغور أذربيجان وهو متوجه إلى الحجاز للحج، والآخر هو عبد الرحمن أبو بكر سمع أباه بنيسابور وسمع الحديث وأسمعه، وعقد مجلس الإملاء وتولى القضاء بأذربيجان، مات بأصبهان في حدود سنة خمسمائة، ومع أن كنية الصابوني أبو عثمان إلا أني لم أجد له ولدًا بهذا الاسم في الكتب التي ترجمت له، وله أخ هو إسحاق بن عبد الرحمن الصابوني أبو يعلى الواعظ، ينوب عنه في الوعظ، سمع الحديث بهراة ونيسابور وبغداد. كان مولده سنة خمس وسبعين وثلاثمائة للهجرة، ووفاته في ربيع الآخر سنة خمس وخمسين وأربعمائة للهجرة. ويتضح مما سبق أن عائلة إسماعيل الصابوني عائلة علم ومعرفة وإرشاد؛ حيث كان أبوه من كبار الواعظين، وكان ابنه عبد الرحمن ممن اشتغل بالحديث وتولى القضاء، وكان أخوه إسحاق ينوب عنه في وعظ الناس، وسمع الحديث بعدة نواحي. أقول: أبو عثمان إسماعيل بن عبد الرحمن الصابوني عالم مفسر محدث فقيه، من أهل السنة والجماعة نشأ في بيت علم، وتتلمذ على العلماء، وأخذ عنه العلم عدد من التلاميذ، وهو من أهل السنة والجماعة، ومن العلماء الذين يشار إليهم بالبنان، ﵀ وتغمده بواسع رحمته.