فلما ترعرع أخذ العلوم عن والده إلى أن أصيب بوفاته وهو إذ ذاك بين اثنتين وعشرين سنة فجزع لموته وكاد لحزنه يلحق بأبيه. ثم انكب على الدرس واجتمع ببعض أفاضل وطنه فما لبث أن فاقهم وأقبل على التدريس فحصل بعد حين على شهرة واسعة وانتظم في سلك أهل الطريقة النقشبندية. ثم بلي بأنواع الأسقام فخرج من وطنه قاصدًا الآستانة العلية لكن أشقياء العربان نهبوا أثقاله فعاد إلى بغداد صفر اليدين. وفي آخر أمره تولى القضاء في البصرة فأكرمه أهلها وعرفوا قدره لولا أنه تأذى بحمياتها القتالة فخرج منها بعد سنتين ولسانُ حالهِ ينشد مع معاصره الشيخ صالح التميمي:
ومتى تسيرُ ركائبي عن بلدةٍ ... أبدًا أقام فناؤها بفناها
لا فرق بين شَمالها وَجنوبها ... وقَبُولها ودَبُورها وصباها
ما أن تحرَّكتِ الغصونُ بأرضها ... ألا تحرَّك في الجسومِ أذاها
أشجارُها خضرٌ وأوجهُ أهلها ... صُفرٌ محا كَسْفُ السقامِ بهاها
لولا قضاء اللهِ حتمٌ واجبٌ ... أبتِ المروءة أن أدوسَ ثراها
فما وصل إلى بغداد حتى مات بعد أيام ١٢٩١ (١٨٧٤) وله من العمر ٤٣ سنة وكان السيد عبد الله كثير التدين لين الجانب محبًا للفقراء لا يأنف من مخالطتهم. وقد امتاز بحسن نثره وجزالة تعبيره. ومن تأليفه رسائل ومقالات مفيدة وشروح في علمي المنطق والبيان وألف كتاب الواضح في النحو وكتابًا في آداب الصوفية.
أما أخوه فهو السيد سعد الدين عبد الباقي وقع مولده سنة ١٢٥٠ فأرخه الشاعر عبد الحميد الأطرقجي:
طربًا بمن سرَّ الورى ميلادُهُ ... وسرى نسيمُ اللطفِ في الآفاقِ
يا سادتي بشراكُم فيمن بدا ... متخلقًا بمكارم الأخلاقِ
فردًا أتى وبه استعنتُ مؤرخًا ... تمَّ السرورُ لكم بعبد الباقي
أخذ عن والده كأخيه ثم عن الشيخ عيسى البندبيجي وزار الحجاز وتولى القضاء في كركوك مركز ولاية شهرزور ثم في بتليس وسافر إلى دار السعادة. وله عدة مصنفات أخصها القول الماضي فيما يجب المفتي والقاضي وأوضح