سافر مانديلا في البلاد متخفيا ومتنكرا كسائق، لتنظيم وهيكلة خلية جديدة لحزب المؤتمر الوطني الأفريقي والإعداد لإضراب «البقاء في البيت» الشامل طوال يوم 29 مايو. والمشار إليها بـ"Black Pimpernel" في الصحافة - في إشارة إلى رواية Emma Orczy عام 1905 - في حين أصدرت الشرطة مذكرة لاعتقاله عقدت لقاءات سرية لمانديلا مع الصحفيين، وبعد فشل الحكومة في تفادي الإضراب، حذرهم من أن العديد من النشطاء المناهضين للفصل العنصري سيلجؤون قريبا للعنف من خلال جماعات مثل Poqo التابعة لـ باك.
كان يعتقد أنه على حزب المؤتمر تشكيل جماعة مسلحة لتحكم في توجيه بعض هذا العنف، مقنعا كل من زعيم حزب المؤتمر الوطني الأفريقي ألبرت وثولي - الذي كان أخلاقيا معارضا للعنف - ومجموعات من الحلفاء الناشطين لضرورته مستوحاة من حركة 26 يوليو التي قادها فيدل كاسترو وأشعلت الثورة الكوبية، شارك مانديلا في تأسيس «اومكونتو وي سيزوي» ("رمح الأمة"، يختصر MK) مع سيسولو والشيوعي جو سلوفو في عام 1961. واصبح مانديلا رئيسا لجماعة مسلحة، وأفاده ما كتبه كل من ماو تسي تونغ وتشي غيفارا عن «حرب العصابات». رسميا، المجموعة منفصلة عن حزب المؤتمر الوطني الأفريقي، لكنها أصبحت في السنوات اللاحقة جناحه العسكري.
كان أغلب أعضاء MK الأوائل من الشيوعيين البيض. وبعد اختبائه في شقة الشيوعي ولفي كوديش في بيريا، انتقل مانديلا إلى مزرعة مملوكة لشيوعي بيليسليف في ريفونيا، وانضم إليه هناك رايموند ماهلابا، سلوفو وبيرنشتاين الذين وضعوا دستور MK تعتمد هيكلية المنظمة على الخلايا، وتأيد أعمال التخريب لممارسة أقصى قدر من الضغط على الحكومة بأقل عدد من الضحايا، كقصف المنشآت العسكرية ومحطات الطاقة وخطوط النقل والهاتف، ليلا وعند غياب المدنيين. وأشار مانديلا إلى أن أطروحة التكتيكات قد تفشل، وقد يلجأ MK إلى "حرب العصابات والإرهاب". بعد منح زعيم حزب المؤتمر الوطني الأفريقي لوثولي جائزة نوبل للسلام، أعلنت منظمة MK عن وجودها على الملأ بـ 57 تفجيرا في «يوم دينغن» (16 ديسمبر) عام 1961، وتلتها المزيد من الهجمات في ليلة رأس السنة الميلادية الجديدة.
وافق حزب المؤتمر الوطني الأفريقي على إرسال مانديلا، في فبراير 1962، مندوبا إلى اجتماع «حركة الحرية الأفريقية في شرق ووسط وجنوب أفريقيا»في أديس أبابا، إثيوبيا. بالطبع سافر متخفيا، والتقى مانديلا بالامبراطور هيلا سيلاسي الأول، وألقى كلمته بعد كلمة سيلاسي في المؤتمر. بعد المؤتمر، سافر إلى القاهرة حيث أعجب بالإصلاحات السياسية للرئيس جمال عبد الناصر، ثم ذهب إلى مدينة تونس، حيث التقى بالرئيس الحبيب بورقيبة وتسلم منه 5،000 جنيه استرليني للأسلحة. انتقل بعدها الى المغرب ومالي وغينيا وسيراليونوليبيريا والسنغال، وتلقى أموالا من الرئيس الليبيري وليام توبمان والرئيس الغيني أحمد سيكو توري. سافر بعدها إلى لندن (إنجلترا)، حيث التقى بنشطاء مناهضين للفصل العنصري، وصحفيين وسياسيين يساريين بارزين. عاد إلى إثيوبيا، وبدأ دورة تدريبية لمدة ستة أشهر حول حرب العصابات، ولكنه استدعي بعد شهرين فقط إلى جنوب أفريقيا.