Bécsben született 1678. július 26-án. 1705. május 5-én lépett trónra, de már apja I. Lipót életében, 1687. december 9-én megkoronázták. Uralkodása idején tovább folyt a spanyol örökösödési háború, s hogy a birodalom teljes katonai erejét a franciák ellen fordíthassa, 1706-ban - közvetítéssel - béketárgyalásokat kezdett a kurucokkal. Az 1703-ban kezdődött Rákóczi-szabadságharc befejezése érdekében közbocsánatot, vallásszabadságot, a rendi alkotmány visszaállítását ígérte. A tárgyalások azonban nem vezettek eredményre, mert I. József nem volt hajlandó elismerni az önálló erdélyi fejedelemséget. Végül 1707-ben az ónodi országgyűlés kimondta a király és a Habsburg-ház trónfosztását. 1711-ben az ő meghatalmazásával kezdődtek a szatmári békéhez vezető tárgyalások, I. József azonban néhány nappal a béke megkötése előtt meghalt. Az udvar ezt eltitkolta és így a békét aláírták. A trónon öccse, Károly - magyar királyként III. Károly - követte.