وأصلهم الحاج عبد العزيز بن عبد اللطيف الطبيب المغربي التونسي الشهير بالتمتام. قدم المدينة المنورة في حدود سنة ١٠٠٠. وجاور بها وأولد بها عدة الأولاد: منهم الجمال محمد نعمة الله، وعبد اللطيف، وعبد الكريم. وأوقف عليهم الدارين الكائنتين بزقاق التمتام بخط الحدرة. ثم من بعدهم على طائفة المغاربة القاطنين بالمدينة المنورة.
وأما الجمال محمد نعمة الله فكان من أحسن الناس ذاتًا وصفات وكان صاحب ثروة وتوفي سنة ١٠٨٥. وأعقب من الأولاد: صاحبنا الوجيه الصالح الشيخ عبد الرحمان. ومولده في سنة ١٠٥٠ وتوفي سنة ١١٤٥. وكان مقعدًا في بيته نحو عشرين سنة. وسببه أنه لما بلغه موت ولده مكي في رابغ فجأة صار عليه ما صار. وأعقب ولده مكي المزبور: عبد العزيز. وبلغ سفيهًا فأضاع المال. وصار في أسوء حال إلى أن توفي سنة ١١٦٣. وأعقب من الأولاد: عباس لكونه ولد بالطائف المحروس سنة ١١٥٩ فاجتهد وحفظ القرآن العظيم وهو أعمى. ورحل إلى اليمن الميمون فحصل له إكرام من الإمام. ثم رجع إلى المدينة المنورة. وسافر إلى مصر القاهرة فتوفي بها سنة ١١٨٤، وورثه أولاد عمه بالعصبة وهم الموجودون اليوم بالمدينة المنورة: محمد جمال بن عبد اللطيف، وعبد اللطيف، وأبو بكر ابنا محمد بن عبد اللطيف ومحمد وصالح ابن عبد الملك بن محمد صالح بن عبد الملك. ويزعمون أنهم ينتسبون إلى