Székesfehérvárott született 1850. június 22-én. Családja, mely hamburgi és Spanyolországból elűzött morva zsidóktól eredt, 1735-től élt Magyarországon. 1865-ben üzleti okokból Pestre költöztek, itt járt gimnáziumba, de közben 16 évesen a pesti egyetemen arabot, törököt és perzsát tanult, Vámbéry Ármin, továbbá Riedl Frigyes és Toldy Ferenc tanítványa volt. Berlinben, Leidenben folytatta Eötvös Józseftől kapott állami ösztöndíjjal, 1872-ben a kor nagy orientalistájánál, H. L. Fleischernél doktorált Lipcsében. Közben Oxfordban és Cambridge-ben tanulmányozta a keleti kéziratokat, megtanult szanszkritül és oroszul is. 1872-ben Budapesten egyetemi magántanár lett, majd 1873-tól két évig újabb ösztöndíjjal keletre utazott Arany László és Heinrich Gusztáv társaságában, s Szíriában, Palesztinában és Egyiptomban kutatta az iszlám tradícióit. Kairóban, az Azhar medreszében első európaiként hallgatott arab filológiát, iszlám teológiát és egyházjogot. Hazatérte után Eötvös utóda, Trefort Ágoston nem adta meg az ígért professzori állást, az egyetem is elutasította őt zsidó volta miatt, így 1876-ban a budapesti izraelita hitközség titkára lett. 1874-ben jelent meg Bécsben a Sia irodalomtörténetéről írt műve, 1877-es tanulmánya a spanyolországi arabok fejlődését vetette össze a keletiekkel, ez volt akadémiai székfoglalója. 1884-ban adta közre A mohamedán jogtudomány eredetéről című munkáját. Kétkötetes műve, a Mohamedán tanulmányok 1889-90-ben jelent meg Halléban német nyelven, ezt később, halála után angolul és franciául is kiadták. E műve egészen új módon tárgyalta az iszlám szent írásait, nemcsak a Koránt, hanem a Hadith nevű gyűjteményt is. Híres kézikönyve a szintén németül írt, 1897-99-ben Leidenben megjelent Értekezések az arab filológiáról. Magyarul írt könyve az 1881-es Az iszlám, melyet száz évvel később ismét kiadtak, Az iszlám kultúrája címmel. Ehhez kapcsolódott a pogány arabok költészetének hagyományairól írt 1893-as munkája is. Heidelbergben, 1910-ben jelent meg összegző műve, mely magyarul 1912-ben, Előadások az iszlámról címmel látott napvilágot, Heller Bernát fordításában. A hebraisztika terén 1873-ban írta, s Lipcsében adta ki A mítosz a hébereknél című művét, s átdolgozta Ballagi Mór A héber nyelv elemi tankönyve című munkáját is. Magyarul adta ki 1919-ben a kétkötetes A zsidóság lényege és fejlődésé-t. Palesztináról írt könyve 1885-ben, Renan mint orientalista című műve 1894-ben, A buddhizmus hatása az iszlámra 1903-ban látott napvilágot. Az iszlám az Omajjádok bukásáig a Képes világtörténet részeként, Az arab irodalom története az Egyetemes irodalomtörténet tagjaként jelent meg. Naplóját, melyet 1890-től 1919-ig németül vezetett, 1978-ben, magyarul 1985-ben adták ki. A könyvben ifjúkorát is összefoglalta, s hitet tett hűségéről hazája iránt, de beszámolt számos konfliktusáról is, pályatársaival és a Rabbiképzővel, egy sértett, zaklatott embert tárva az olvasó elé. Életművének 1927-es bibliográfiai összegzését is Heller Bernát készítette, mely 580 könyvét és tanulmányát említette, ezt többször is kiegészítették. Hat kötetben összegyűjtött írásait 1967-73 között jelentették meg németül. 1894-ben lett egyetemi tanár, 1905-től a budapesti egyetem sémi filológiai tanszékének vezetője volt - ekkor köszönt le 30 éven át viselt hitközségi állásáról, melyet lélekölő robotnak érzett. Goldziher alapozta meg a modern, kritikai módszerekkel dolgozó iszlámtörténetet. Európai szaktekintély volt, a berlini, göttingeni, szentpétervári, amszterdami, koppenhágai akadémia tagja. 1889-ben az orientalisták stockholmi kongresszusán nagy aranyérmet kapott. Többször hívták külföldre tanítani, ő azonban itthon maradt. 1876-ban lett az MTA levelező, 1892-ben rendes tagja. Őt tartják a legnagyobb magyar arabistának. Munkássága az iszlám kultúrtörténet majd minden területére kiterjedt, elsőként vizsgálta e vallás kialakulását történeti fejlődésében, feltárta az arab nyelvtudomány és történetírás kezdeteit, s bemutatta, hogyan tükrözik a Mohamedre vonatkozó hagyományok a korai iszlám vallási és pártharcait.