نقل مانديلا وزملائه المتهمون من بريتوريا إلى سجن في جزيرة روبن آيلاند، حيث بقوا هناك لمدة 18 سنة.معزول عن السجناء غير سياسيين في القسم B، سجن مانديلا في زنزانة رطبة بمقاس 8 أقدام في 7 أقدام، بها حصيرة من القش للنوم عليها. لم يسلم من المضايقات الجسدية واللفظية من العديد من حراس السجن البيض، وكان سجناء محاكمة ريفونيا يقضون يومهم في كسر الصخور في المحاجر، حتى نقل في يناير 1965 إلى العمل في محجر الجير. في البداية، منع على مانديلا على ارتداء النظارات، ما تسبب في أضرار دائمة في بصره بسبب الجير. في الليل، كان يحضر لشهادة ليسانس الحقوق، ومنعت عنه الصحف، وكان حبس انفراديا في عدة مناسبات لحيازته قصاصات أخبار مهربة. بعد تصنيفه كسجين بأدنى درجة مراقبة (الدرجة D)، سمح له بزيارة واحدة ورسالة واحدة كل ستة أشهر، في ظل رقابة صارمة على كل بريده.
شارك السجناء السياسيون في الإضرابات عن العمل وعن الطعام - والتي اعتبرها مانديلا لاحقا بغير الفعالة إلى حد كبير - لتحسين أوضاع السجون، ونظر إليها كصورة مصغرة من النضال ضد الفصل العنصري انتخبوه سجناء حزب المؤتمر عضوا في "الجهاز العالي" جنبا إلى جنب مع سيسولو، غوفان مبيكي وريمون مهلابا، وشارك في مجموعة تمثل جميع السجناء السياسيين في جزيرة أولوندي، سمحت له بتوطيد صلاته مع PAC وأعضاء نادي «يو تشي تشان». أنشأ "جامعة جزيرة روبن"، حيث حاضر السجناء كل حسب خبرته وتخصصه، وتناقش مع رفاقه في مواضيع مثل : الشذوذ الجنسي والسياسة، أدخلتهم في محاججة شرسة مع الماركسيين مثل مبيكي وهاري جوالا رغم مسيحيته وحضوره لقداس الأحد، إلا مانديلا درس الإسلام.
ودرس اللغة الأفريكانية أيضا، رغبة منه في بناء احترام متبادل مع السجانين وكسبهم في صالح قضيته. زار مسؤولون رسميون مانديلا، وكان أهمهم ممثلة الجناح البرلماني الليبرالي هيلين سوزمان من الحزب التقدمي، والتي دافعت عن قضية مانديلا خارج السجن. وفي سبتمبر 1970 التقى النائب البريطاني دنيس هيلي من حزب العمال. وزاره وزير العدل لجنوب أفريقيا جيمي كروجر في ديسمبر 1974، ولكنه لم يتوافق مع مانديلا. زارته والدته في عام 1968، قبل وفاتها بفترة وجيزة، وابنه البكر ثيمبي الذي توفي في حادث سيارة في العام التالي. ومنع مانديلا من حضور جنازتهما لم تكن زوجته قادرة على زيارته إلا نادرا، لتكرار سجنها بسبب نشاطها السياسي، في حين زارته بناته للمرة الأولى في ديسمبر 1975، خرجت ويني من السجن في عام 1977 ولكنها خضعت لإقامة جبرية في براندفورت،فلم تقدر على زيارته.
بداية من سنة 1967، بدأت تتحسن ظروف السجن، فأعطي السجناء السود سراويل بدلا عن تبابين، وسمح بالألعاب، وتحسنت جودة الأغذية.في عام 1969، دبر بروس غوردون لخطة لفرار مانديلا، قبل أن يتم التخلي عنها نتيجة لاختراق لعميل من مكتب جنوب أفريقيا للأمن الدولة. كان يأمل في أن يطلق النار على مانديلا في حال هروبه. [137] في عام 1970، أصبح القائد Piet Badenhost الضابط الآمر. وقرر مانديلا، لما شهد زيادة في الإيذاء البدني والنفسي للسجناء، المطالبة بزيارة القضاة، ما أدى إلى نقلBadenost.
عوضه القائد ويلي ويليمس، وسعى هذا الأخير إلى تطوير علاقة تعاونية مع مانديلا وكان حريصا على تحسين معايير السجون. بحلول عام 1975، اصبح مانديلا ضمن الفئة (A) من السجناء، فسمح له بعدد أكبر من الزيارات والرسائل. وتراسل مع نشطاء مناهضين للفصل العنصري مثل مانغوسوتو بوثيليزي وديزموند توتو في ذات العام، بدأ كتابة سيرته الذاتية، والتي كانت تهربه إلى لندن، من دون نشرها، واكتشفت سلطات السجن عدة صفحات، فأوقفت الامتيازات الدراسية لمانديلا لمدة أربع سنوات. ما دفعه إلى تكريس وقت فراغه في زراعة الحدائق وقراءة ما يصل إليه، حتى استأنف دراسته للحقوق في عام 1980.
وبحلول أواخر ستينيات القرن الماضي، كانت شهرة مانديلا قد حجبتها شعبية ستيف بيكو وحركة الوعي السود . هذه الحركة، التي كانت تنظر إلى حزب المؤتمر الوطني الأفريقي بأنه غير فعالا، دعت إلى تحرك المناضلين، ولكن في أعقاب انتفاضة سويتو عام 1976، سجن الكثير من نشطاء BCM في جزيرة روبن. حاول مانديلا بناء علاقة مع هؤلاء الشبان المتطرفين، ولكنه كان منتقدا لعنصريتهم وازدرائهم للنشطاء البيض المناهضين للفصل العنصري. تجدد الاهتمام الدولي في بمحنته في يوليو عام 1978 عندما احتفل بعيد ميلاده الستين. وحصل على دكتوراه فخرية في ليسوتو، وجائزة جواهر لال نهرو للتفاهم الدولي في الهند في عام 1979 وجائزة الحرية لمدينة غلاسكو أسكتلندية في عام 1981.في مارس 1980، رفع الصحفي Percy Qoboza شعار "الحرية لمانديلا"، ما أثار حملة دولية دفعت مجلس الأمن الدولي إلى الدعوة لإطلاق سراحه. على الرغم من تزايد الضغوط الخارجية، رفضت الحكومة الرضوخ مستندة على قوة تحالفاتها الخارجية، في ظل الحرب الباردة، بالرئيس الأمريكي رونالد ريغان ورئيسة الوزراء البريطانية مارغريت تاتشر، وكانت تاتشر تنظر لمانديلا على أنه شيوعي وإرهابي وأيدت إزالة حزب المؤتمر الوطني الأفريقي.