ولد مانديلا في 18 يوليو 1918 في قرية مفيتزو بمقاطعة أوماتاتا ، بإقليم ترانسكاي في جنوب أفريقيا. سمي «روليهلاهلا»، ويعني «نازع الأغصان من الشجر» أو بالعامية "المشاكس"، وفي السنوات اللاحقة أصبح يعرف باسم عشيرته، ماديبا. أحد أجداده من جهة والده، نغوبنغوكا ، كان حاكما لشعب تيمبو في أراضي ترانسكاي بمقاطعة كيب الشرقيةالحديثة في جنوب أفريقيا. هذا الملك، كان له إبن اسمه مانديلا هو جد نيلسون ومصدر لقبه. لأن مانديلا لم يكن سوى طفل الملك من زوجة من عشيرة اكزيبا، أو ما يسمى ب "الفرع الأيسر"، فكان غير مؤهلا ليرث العرش ولكنه أعتبر مستشار الورثة الملكيين. ومع ذلك، كان والده، غادلا هنري مفاكانيسوا، زعيما محليا ومستشار للملك، تم تعيينه في المنصب في عام 1915، بعد أن اتهم مجلس حكام أبيض سلفه بالفساد.
في عام 1926، أقيل غادلا أيضا من منصبه بتهمة الفساد، قيل لنيلسون أنه فقد وظيفته بسبب وقوفه ضد في مطالب المجلس غير المعقولة. كان محب للإله «كاماتا كان غادلا متزوج من أربع نسوة، ولديه أربعة أولاد وتسع بنات، يعيشون في قرى مختلفة. وكانت والدة نيلسون «نوسيكا فاني» هي الزوجة الثالثة، وهي ابنة انكيداما من «الفرع الأيمن» وعضوا في أمامبفو من عشيرة كوسا.
في سنواته الأولى، هيمنت على حياته «العادات والطقوس والمحرمات» شب مانديلا مع اثنين من أخواته في مسكن والدته بقرية، وكان يرعى قطعان الماشية صبي ويمضي معظم الوقت في الخارج مع أولاد آخرين. كان والداه أميين، ولكن والدته التي اعتنقت المسيحية أرسلته إلى المدرسة الميثودية المحلية وهو بعمر سبعة سنين. عمد كميثودي، وأعطى معلم مانديلا به اسما إنجليزيا هو "نيلسون" كإسم أول. عندما كان مانديلا في التسعة من عمره، قدم أبوه للعيش معهم في كونو، حيث توفي بمرض لم يشخص يعتقد مانديلا أنه من أمراض الرئة. قال في وقت لاحق أنه ورث من والده "التمرد بفخر" و "إحساس عنيد بالعدالة".
أخذته والدته إلى «المكان العظيم» قصر في مكيكزوبي ، أين كان تحت رعاية الوصي على عرش تيمبو، الزعيم يونجينتابا دالينديبو . ولم يرى أمه مرة أخرى لسنوات عديدة، ورأى مانديلا أن يونجينتابا وزوجته نو-إنغلاند عاملاه وكأنه طفلهما، بنفس مقام الإبن جستيس والبنت نومافو كان مانديلا يتردد على الكنيسة كل يوم أحد مع الأوصياء، حتى أصبحت للمسيحية مكانة خاصة في حياته.
التحق بمدرسة البعثة الميثودية الواقعة بجانب القصر، حيث درس اللغة الإنجليزية و كوسا والتاريخ والجغرافيا. فأحب التاريخ الأفريقي، من خلال استماعه إلى حكايات الزوار المسنين إلى القصر، وتأثر بالخطاب المعادي للإمبريالية الزعيم Joyi وفي وقتها كان يعتبر المستعمرين الأوروبيين ومحسنين، وليسوا ظالمين. بعمر 16 سنة، سافر مع جستيس والعديد من الأولاد الآخرين إلى تايهالارها للخضوع لطقوس الختان وهو رمز لانتقالهم من الطفولة إلى الرجولة، وبعد اتمام الطقوس، سمي بـ داليبهونغا .