وقيل إن عبد الرحمن غزاه في سنة سبعين فلما أحس به فر عن قورية وانقطع وحده وانحاز إلى غياض أشبة ثم صار إلى ركانة من طليطلة فمات هنالك . وقام بعده أخوه قاسم بن يوسف فغزاه عبد الرحمن بن معاوية فلما دنا منه خرج إليه بلا أمان فتقبله وأمنه ونقله إلى قرطبة وأحسن إليه وكان آخر المخالفين عليه