A múzeum alapját gróf Széchényi Ferenc felesége, Festetics Julianna alapozta meg ásványgyűjteménye felajánlásával. A 23 darabból álló kollekció napjainkra 10 millió példányos gyűjteménnyé fejlődött, amely 1963-ig a Magyar Nemzeti Múzeum része volt. 1956-ban találat érte a Nemzeti Múzeumot, valamint a természettudományi gyűjteménynek ugyancsak helyet adó Baross utcai épületet. A híres Afrika kiállítás, az ásványtani-, az őslénytani és az állattani gyűjtemény jelentős része megsemmisült. Ezután gyűjtő és kutatóutak indultak a világ számos pontjára, amelynek következtében a gyűjteményi anyag jelentős mértékben gyarapodott. A Nemzeti Múzeum anyagából önállósult Magyar Természettudományi Múzeum ásványtára 1995-ben költözött be a Ludovika Akadémia épületének felújított földszinti épületrészébe. A Pollack Mihály tervezte épületegyüttes valamikori lovardájában (a későbbi Alfa moziban, amely tűz martaléka lett) leltek otthonra a nemzetközi hírű intézmény állandó, illetőleg időszaki bemutatói.