في يونيو 2004، في عمر يزيد عن 85 وبصحة متدهورة، أعلن مانديلا انه "يتقاعد من التقاعد" وينسحب من الحياة العامة، ومستدركا "لا تدعوني، فأنا من سيدعوكم". استمر بلقاء الأصدقاء المقربين والعائلة، وردت المؤسسة دعوات له بالظهور في المناسبات العامة ورفضت معظم طلبات المقابلات الصحفية. استمر في المشاركة في بعض الشؤون الدولية، وشجع رئيس زيمبابوي روبرت موغابيعلى الاستقالة بسبب تزايد انتهاكات حقوق الإنسان في البلاد. عندما أرى أن ذلك لم يجد نفعا، فتحدث علنا ضد موغابي في عام 2007، طالبا منه التنحي "بما تبقى من احترام وكرامة".
في تلك السنة، دعى مانديلا وماشيل وديزموند توتو مجموعة من زعماء العالم لعقد اجتماعا في جوهانسبرغ لإسهام بحكمتهم وقيادتهم مستقلة لحل بعض المشاكل التي يواجهها العالم. أعلن مانديلا عن تشكيل هذه المجموعة الجديدة، «الشيوخ - The Elders»، في خطاب ألقاه في عيد ميلاده 89.
تميز عيد ميلاد مانديلا 90 في جميع أنحاء البلاد في 18 تموز 2008، بالاحتفالات الرئيسية التي جرت في كونو (Qunu)، وحفلة موسيقية على شرفه في هايد بارك بلندن. في كلمة بمناسبة هذا الحدث، دعا مانديلا الأغنياء لمساعدة الفقراء في جميع أنحاء العالم. طوال رئاسة مبيكي، استمر مانديلا في دعم حزب المؤتمر الوطني الأفريقي، وكان حضوره للأحداث العامة عادة ما يحجب مبيكي رغم حضروره. وجد مانديلا راحة أكثر في تعامل مع جاكوب زوما خليفة مبيكي، ورغم ذلك فإن مؤسسة نيلسون مانديلا انزعجت عندما نقله حفيده، ماندلا مانديلا، جوا إلى الكاب الشرقية لحضور تظاهرة مؤيدة لزوما في ظل توقعات بعاصفة في عام 2009.
منذ عام 2004، خاض مانديلا حملة ناجحة لاستضافة جنوب أفريقيا نهائيات كأس العالم لكرة القدم 2010، معلنا أنها ستكون "أفضل الهدايا القليلة لدينا في هذا العام" بمناسبة مرور عقد من الزمان على سقوط نظام الفصل العنصري. ورغم رغبته في عدم خطف الأضواء عن الحدث، إلا أن ظهور مانديلا العلني في حفل الختام، حظي بـ"استقبال حافل".