خروجه عن قرطبة ومجيئه إليهم طردوا ابنيه ومن كان معهما من البربر، وضبطوا البلد، وقدموا على أنفسهم ثلاثة رجال من شيوخ البلد وأكابرهم وأهم العناصر أبو القاسم محمد بن إسماعيل بن عباد اللخمي ومحمد بن بريم الإلهامي ومحمد بن محمد ابن الحسن الزبيدي، ومكثوا كذلك أيامًا مشتركين في سياسة البلد وتدبيره، ثم انفرد القاضي أبو القاسم بن عباد بالأمر واستبد بالتدبير وصار الآخران في جملة الناس، ولحق القاسم بشريش واجتمع البربر على تقدير ابن أخيه يحيى، زحفوا إلى القاسم فحاصروه حتى صار في قبضة ابن أخيه يحيى وانفرد ابن أخيه يحيى بولاية البربر وبقي القاسم أسيرًا عنده وعند أخيه إدريس بعده إلى أن مات إدريس فقتل القاسم خنقًا سنة إحدى وثلاثين وأربعمائة، وحمل إلى ابنه محمد بن القاسم بالجزيرة فدفنه هنالك فكانت ولاية القاسم مذ تسمى بالخلافة بقرطبة إلى أسره ابن أخيه ستة أعوام، ثم كان مقبوضًا عليه ست عشرة سنة عند ابن أخيه إلى أن قتل كما ذكرنا في أول سنة إحدى وثلاثين، ومات وله ثمانون سنة، وله من الولد محمد والحسن، أمهما أميرة بنت الحسن بن قنون بن إبراهيم بن محمد بن القاسم بن إدريس بن إدريس بن عبد الله بن الحسن بن علي بن أبي طالب.