أبناؤه وزوجته يشتكون كثرة الكتب والأوراق وضيق البيت. وقد شهدت عددًا من أهل العلم إذا اشترى كتابًا لا يستطيع أن يدخله إلى بيته إلا بعد أن ينام أهله، أو يتحايل ويضع الكتب عند أحد زملائه ثم يدعوه إلى البيت ويأتي ومعه الكتاب فيدعي أن الكتاب إهداء من صديقه والسبب في ذلك أنه يخشى غضب زوجه أو سخط الأم أو أحد الأهل لأن الجميع يدعي أن شراء الكتب أمر زائد عن الحاجة وهناك أشياء أهم. وفعلا ربما يبتلى الإنسان بحب الكتب فينسى أهله ونفسه. عذابات الأهل متعددة ولكن على العالم أن يُصبِّر أهله ويهبهم الكثير من وقته، ويشرح لهم فوائد العلم ومنفعته، وإن ناله خير من خيرات العلم المادية عليه أن لا ينسى أهله وأن يُفيض عليهم من الخير.