فوجد في رأس جبل مرتفعٍ بيوتًا متهدمة قديمة على شكل أطلال يسمى الجبل "بيت الولي" فبنى له منزلًا في ذلك المكان بعد أن حصل على إذن من مالكه. وكانت المنطقة أرضًا زراعية يستفيد من زراعتها، فبنى هناك بيتًا ومسجدًا واستقرت به الحال. وفي هذا المنزل والمسجد الجديدين كان يتقلّب والد الشيخ عبد الرحمن ما بين تعليم للأطفال والصلاة بالقرى المجاورة صلاة الجمعة والعيدين، وتعليم الصغار والزراعة حتى مات سنة ١٣٦١ هـ. ﵀. وكان لوالد الشيخ تأثير جيد في نشأته، من حيث الاهتمام بتعليمه، وتربيته، ورعايته. وكان الشيخ المعلمي يكنّ لوالده حبًّا عظيمًا، كما صرح به في رسالة خاصة إلى أخيه أحمد، إذ قال: " وليس على وجه الأرض بعد سيدي الوالد ــ حفظه الله تعالى ــ من يسرني سروره أزيد منك". وكان والده يتعاهده بالمكاتبات والرسائل، وكان الشيخ يهتم بها غاية الاهتمام، فلذلك أوصى أخاه أحمد ــ وقد أرسل إليه كتابًا من والده ــ بقوله: "واحتفظ بكتبه لا تضيع". وكان الشيخ يتعاهد والده بالبر والصلة، فيرسل له بانتظام ما تيسّر له من المال يستعين به على شؤون الحياة، وقد يتأخر أحيانًا في الإرسال لظروف قاهرة تتعلق بالإرسال، ويظهر من رسائله التألّم لذلك، وربما أصابه القلق إذا تأخرت رسائل أبيه. وربما كان قلقه بسبب خوفه على أبيه من بطش الإمام يحيى حميد الدين بسبب انضمام الشيخ المعلمي إلى الإدريسي وهو أشدّ خصوم الإمام وبينهما معارك ونزاع طويل.