A művész Niederpoyritz-ban született 1910. június 14-én. 1929-36 közt a lipcsei Gewandhaus oboása és korrepetitora, 1936-ban karmestere. Chemnitz és Weimar után 1949-től a drezdai Staatsoper főigazgatója. 1952-54 közt a müncheni Bayerische Staatsoper főigazgatója, 1961-75 közt a londoni Royal Philharmonic Orchestra, 1965-től emellett a zürichi Tonhalle zenekar vezetője is. 1967-től a Müncheni Filharmonikusok főzeneigazgatója. 1975-től a BBC Symphony Orchestra vezetője. Kempe impulzív előadó volt, igen pontos ütéstechnikával, egyaránt sikeres az expresszív jellegű (Richard Strauss: Elektra) és a hatáselemekben bővelkedő művek (Ravel: Bolero) előadásában. Zürich-ben halt meg.