Martell Károly Anjou András és Johanna házasságából született, bár egyes források - ismerve az anya kicsapongó életét - megkérdőjelezték az apa kilétét. András nem láthatta gyermekét, mivel 1345. szeptember 19-ére virradó éjszaka meggyilkolták. Johanna nem sokat toglalkozott gyermekével. Amikor I. (Nagy) Lajos király az első nápolyi hadjárárata során bevonult Dél-Itáliába és Johanna elmenekült, nem vitte magával. A magyar uralkodónak szándékában állt, hogy a gyermeket magához veszi, és majd őt teszi meg nápolyi királlyá. Ezért visszatérésekor magával hozta a kis gyermeket, és saját édesanyjára, Erzsébet anyakirálynéra bízta, hogy gondosan nevelje. Martell Károly azonban megbetegedett és nemsokára meg is halt. Székesfehérvárott temették el.