في أواخر التسعينيات، بدأت التكهنات بالظهور حول عمر كاسترو ورفاهيته وتم الإبلاغ عن العديد من المشكلات الصحية على مر السنين، وحدث أهمها في عام 2006، عندما خضع كاسترو لعملية جراحية بسبب نزيف في الجهاز الهضمي، وفي إعلان مثير، في 31 يوليو 2006، عين كاسترو شقيقه راؤول كزعيم مؤقت للبلاد وكان راؤول هو الثاني في قيادة كاسترو لعقود من الزمن وتم اختياره رسميًا خلفًا له في عام 1997.
وفي 19 فبراير 2008، تخلى كاسترو البالغ من العمر 81 عامًا بشكل دائم عن الرئاسة الكوبية بسبب تدهور حالته البدنية وسلم السلطة كليًا لراؤول، الذي كان يبلغ من العمر 76 عامًا في ذلك الوقت وانتخبت الجمعية الوطنية الكوبية رسميًا راؤول كرئيس لكوبا في نفس الشهر، على الرغم من أن كاسترو ظل كما ورد السكرتير الأول للحزب الشيوعي.
وعند تقاعده، بدأ كاسترو في كتابة عمود عن تجاربه وآرائه، بعنوان "تأملات فيدل"، وفي عام 2007 نُشرت سيرته الذاتية "حياتي"، وعلى الرغم من عدم مشاركته في الشؤون اليومية لإدارة كوبا، إلا أن كاسترو لا يزال يحتفظ بدرجة معينة من النفوذ السياسي في الداخل والخارج.