Mária Terézia és Lotharingiai Ferenc legidősebb fia volt. Már fiatalon részt vett az államéletben. 1764-ben anyja Frankfurtban római királlyá koronáztatta, 1765. szeptember 17-én pedig társuralkodónak maga mellé emelte, majd, mivel apja 1765. augusztus 18-án elhunyt, ő lett a német-római császár is. A trónra Mária Terézia halála után 1780-ban lépett. Már uralma kezdetétől a felvilágosult abszolutizmus szellemében, az egységes állam megteremtéséért munkálkodott. Reformpolitikáját nevezték jozefinizmusnak. 1781-ben két híres rendeletet adott ki: júniusban kivette a cenzúrát az egyház kezéből, októberben pedig kiadta a Türelmi Rendeletet, amellyel biztosította a nem katolikusok szabad vallásgyakorlását és hivatalviselését. Szintén 1781-ben feloszlatta a szerzetesrendeket, rendeletileg megszüntette az örökös jobbágyságot Csehországban, Morvaországban és Galíciában, s rendelete később Magyarországra is kiterjedt. Tervbe vette a nemesek megadóztatását, kimondta a törvény előtti egyenlőség elvét, és számos más reformértékű döntést is hozott. Országgyűlést azonban nem hívott össze, rendeleti úton kormányzott, s ezzel rengeteg ellenséget szerzett. Uralkodásának 3000 napja alatt 6000 rendeletet adott ki. Óriási munkabírású ember volt, csak az államügyeknek élt, és környezetétől is ezt követelte meg. Mivel nem koronáztatta meg magát, "kalapos király"-nak nevezték. Nagy formátumú uralkodóként, jó királyként maradt meg sokak emlékezetében, főként a szegények kedvelték, a nemesség viszont jogainak csorbítóját látta személyében. Ellenségei végülis célt értek: József halálos ágyán kénytelen volt - a türelmi rendelet és jobbágyrendelet kivételével - reformintézkedéseit visszavonni. 1790. február 20-án halt meg Bécsben. Joggal szerkesztette tehát magának a sírfeliratát: "Itt nyugszik egy fejedelem, akinek a szándékai tiszták voltak, aki azonban olyan szerencsétlen volt, hogy láthatta zátonyra futni minden tervét."