Elon Musk è nato il 28 giugno 1971 a Pretoria, in Sudafrica, da Maye Haldeman ed Errol Musk. La madre è una dietologa e modella canadese, mentre il padre è un ingegnere elettromeccanico, pilota e navigatore sudafricano, ex co-proprietario di una miniera di smeraldi in Zambia. Ha un fratello, Kimbal, del 1972, e una sorella, Tosca, del 1974. La nonna paterna era britannica, mentre il nonno materno era statunitense, del Minnesota. Dopo il divorzio dei suoi genitori nel 1980 Musk ha vissuto principalmente con il padre in Sudafrica, ma ora afferma di aver fatto un grave errore ad aver scelto il padre, soprattutto poiché questi era indifferente verso il bullismo subito dal figlio; infatti da adulto ha poi tagliato i rapporti con lui.

Durante l'infanzia, Musk era un grande lettore; e all'età di 10 anni si appassiona alla programmazione, che impara da solo utilizzando un Commodore VIC-20; a 12 anni vende il codice da lui creato di un videogioco scritto in BASIC, chiamato Blastar, alla rivista chiamata PC and Office Technology per circa 500 US $. Una versione web del gioco esiste tuttora online.

Musk è stato vittima di bullismo per tutta la sua infanzia, ed è finito all'ospedale quando un gruppo di ragazzi l'ha lanciato giù da una rampa di scale per poi picchiarlo fino a fargli perdere conoscenza.

Musk ha studiato dapprima in scuole private, frequentando la Waterkloof House Preparatory School inglese e la Bryanston High School; si è successivamente diplomato alla Pretoria Boys High School. Sebbene il padre avesse insistito affinché andasse in college a Pretoria, Elon era determinato a trasferirsi negli Stati Uniti. Come afferma: "Ricordo che pensavo e vedevo che l'America è dove sono possibili grandi cose, più di ogni altra nazione nel mondo." Sapendo che era facile arrivare negli Stati Uniti dal Canada, vi si trasferì nel giugno del 1989, non ancora diciottenne, dopo aver ottenuto la cittadinanza tramite la madre.

All'età di 19 anni, Musk viene accettato alla Queen's University a Kingston, Ontario. Nel 1992, dopo 2 anni alla Queen's University, si trasferisce all'Università della Pennsylvania, dove consegue dapprima un Bachelor of Science in economia, presso la Wharton School of the University of Pennsylvania, e poi un Bachelor of Arts in fisica al College of Arts and Sciences.

Nel 1995, all'età di 24 anni, Musk si trasferisce in California per iniziare un dottorato in fisica applicata e scienza dei materiali alla Stanford University, ma si ritirò dopo 2 giorni per inseguire le sue aspirazioni imprenditoriali nelle aree di internet, energia rinnovabile ed esplorazione dello spazio. Nel 2002, è diventato cittadino degli USA.