أوقع الحاكم العبيدي بوالده وأهل بيته ونذر دم أبي القاسم هذا، فهرب إلى مكة، وكان في الرتبة العالية من الأدب والعلم، ثم صار إلى ميافارقين فتقلد وزارة أميرها، وانغمس في النعيم بعد إظهار الزهد ولبس الصوف وفي ذلك يقول:

تبدّل من مرقّعةٍ ونسكٍ ... بأنواع الممسّك الشفوف

وعنّ له غزالٌ ليس يحوي ... هواه ولا رضاه بلبس صوف

فعاد أشدّ ما كان انتهاكًا ... كذاك الدهر مختلف الصروف

وبعد هذا راسله صاحب الموصل فصار إليه وتقلد وزارته، ومنها انتقل إلى وزارة بغداد في خلافة القائم بالله أبي جعفر عبد الله بن القادر، وعنه كتب رسالته المشهورة في الرد على اليهود الحبابرة وإلزامهم الجزية؛ ثم خاف من الأتراك