كما ذكر الولي في "الذيل على العبر"، وفي وفيات (٧٨٤ هـ) وفاة أخيه أبي الوفاء، إبراهيم بن عبد الرحيم عن قريب من أربع سنوات، وحزن والده عليه. ومن أخواته كبراهن، وتدعى خديجة، تزوجها الحافظ نور الدين الهيثمي. وكان ولي الدين ضيق الحال. كثير العيال. وكان متزوجًا من أخت يحيى بن محمد، شرف الدين المناوي. وأما أولاده .. فجاء ذكرهم في كتب التراجم؛ ومنهم: - أبو الوفاء، عبد الوهاب بن أحمد تاج الدين، يعرف كأبيه بابن العراقي، أسمعه أبوه على أبيه وغيره، وناب في القضاء، وأجاز له خلق من أماكن شتى، ومات في حياة والده (٨١٨ هـ). - أم أيمن بركة، ولدت في شوال سنة (٧٩٣ هـ) وأحضرت على جدها ورفيقه الحافظ الهيثمي، وأجاز لها أبو هريرة بن الذهب، وأبو الخير بن العلائي وآخرون، وحدثت، وتزوجها ناصر الدين بن النيدي، وتوفيت سنة (٨٤١ هـ). نشأته هكذا قيض الله تعالى لوليّ الدين أسرة كريمة، وجّهته نحو طلب العلم، وكان والده شيخه الأول الذي سمع منه، وأول ما بصرت عينه من شيوخ الدرس والتعليم. وتوسم الوالد في ولده حبَّ العلم ورغبته فيه، فبكر به يصحبه معه إلى مجالس العلماء على عادة أهل عصره، فأحضره مجالس العلماء قبل الثالثة من عمره، فأحضره على المسند أبي الحرم محمد القلانسي، ومحب الدين أحمد الخِلاطي، وناصر الدين التونُسيِّ، والشِّهاب ابن العَطَار، والعِزِّ ابن جَمَاعة، والجَمَال ابن نُباتَة، وغيرهم كثير. رحلاته وشيوخه ولَمَّا بلغ وليُّ الدّين الثَّالثة من عُمُره؛ أعني: سنة (٧٦٥ هـ) .. رحل به أبوه إلى الشام، وهي أوَّل رحلة لوليّ الدّين، فأحضره بها على عدد من علمائها البارعين، وحُفَّاظها المتميِّزين، منهم: الحافظان شمس الدّين الحُسَينيُّ، وتقيّ الدِّين ابن رافع، والمُحَدِّث أبو الثناء المَنْبجيُّ، وأبو حَفْص الشَّحْطُبِيُّ، والشَّرف ابن يعقوب الحريريُّ، والعماد ابن الشِّيْرَجِيّ، والمُسَنِد ابن أُمَيلَة، وابن الهَبَل، وابن السُّوقيّ، وسِتُّ العرَب بنت ابن البُخَاري، وغيرهم. ثُمَّ واصل والده رحلته إلى بيت المَقْدِس، فأحضر ولده على الإمام المُسنِد بُرهان الدِّين الزَّيتاويِّ، ومحمَّد بن حامد وغيرهما.