اعتمد البرلمان الدستور الجديد لجنوب أفريقيا في مايو 1996، الذي كرس مجموعة من المؤسسات لتتحقق من السلطة السياسية والإدارية تعمل ضمن الديمقراطية الدستورية. عارض دي كليرك تنفيذ هذا الدستور وانسحب من الحكومة الائتلافية احتجاجا على ذلك. ملأ المؤتمر الوطني الأفريقي المناصب الشاغرة في مجلس الوزراء الذي انسحب منه الحزب الوطني، وصار مبيكي نائب الرئيس الوحيد. احدث أن كان كل من مانديلا ومبيكي خارج البلاد في مناسبة واحدة، فعين بوثيليزي "القائم بأعمال رئيس"، وهو ما شكل تحسنا في علاقته مع مانديلا.
تنازل مانديلا عن منصبه كرئيس لحزب المؤتمر الوطني الأفريقي في مؤتمر ديسمبر 1997 وأعرب عن أمله في أن يخلفه رامافوزا، انتخب المؤتمر الوطني الأفريقي ثابو مبيكي للمنصب ؛ فما كان من مانديلا إلا أن أقر له بذلك، أصبح مبيكي بحكم الأمر الواقع رئيسا للبلاد. ولمنصب نائب الرئيس مبيكي، أيد مانديلا والمجلس التنفيذي ترشيح جاكوب زوما، وهو من قبيلة زولو وسجن في جزيرة روبن، ونافسته في المنصب ويني بشعبوية خطابها الذي اكتسبها تأييدا قويا داخل الحزب، ورغم ذلك فاز زوما في التصويت محققا انتصارا ساحقا في الانتخابات.
ازدادت علاقة مانديلا بماشيل كثافة، وفي فبراير 1998 صرح علنا «أنا أحب سيدة رائعة»، وتحت ضغط صديقه ديزموند توتو الذي حثه على أن يكون قدوة للشباب، أقام حفل زفاف في عيد ميلاده 80، في يوليو. في اليوم التالي أقام حفلا كبيرا دعي إليه العديد من الشخصيات الأجنبية. لم يخطط مانديلا أبدا لفترة ولاية ثانية في منصبه، وقدم خطاب وداعه في 29 مارس 1999 ثم تقاعد.