A wittenbergi egyetem teológiaprofesszorának fiaként 1804. október 24-én született. Halléban, majd Göttingenben tanult, itt 1831-ben Gauss meghívására a fizika professzora lett. 1837-ben hetedmagával tiltakozott Hannover liberális alkotmányának visszavonása ellen, ezért elbocsátották. 1843-49 közt a lipcsei egyetem tanára volt, majd a göttingeni csillagvizsgáló igazgatója lett. Fontos szerepe volt az elektromosság tudománnyá fejlesztésében, az egységrendszer kialakításában. Gauss a mágneses egységeket dolgozta ki, Weber ezt 1846-ban kiterjesztette az elektromosság területére. E művűk később az abszolút mértékrendszer alapja lett. Gauss-szal együtt számos elektromos és mágneses műszert szerkesztett, köztük 1833-ban egy elektromágneses távírót, közös művűk A földmágnesség atlasza. Időnként együtt dolgozott fivéreivel, Ernst Heinrichhel és Eduard Friedrichhel, a két jeles fiziológussal a folyadékok felületi hullámait kutatták. 1846-ban publikálta elektrodinamikus alaptörvényét, amely az elektromos részecskék sztatikai és dinamikai erőhatásait egyetlen képlettel fejezte ki. Ez a részecskék közvetlen távolba hatását fejezte ki, de Hertz kísérletei kimutatták, hogy e hatás nem létezik. Így e törvény ma csak tudománytörténeti érdekesség, de Weber ennek alapján dolgozta ki mértékrendszerét, amelynek jelentősége máig érvényes. Fontos felfedezése volt 1852-ben, hogy a töltésegységek elektrosztatikus és elektromágneses egységrendszerekben kifejezett nagyságának hányadosa éppen a fénysebesség, ez később megerősítette Maxwell elektromágneses fényelméletét. Utolsó göttingeni éveiben elektrodinamikával és az anyag elektromos felépítésével foglalkozott. Munkái nagy részét a Gauss-szal együtt szerkesztett hatkötetes gyűjtemény, A mágneses egység megfigyelésének eredményei tartalmazza. A párizsi Természettudományos Akadémia és a londoni Royal Society tagja volt. Nevét viseli a mágnesség egysége, a weber.