Skót-ír bevándorló fakereskedő gyermekeként Cambell-ben született 1874. február 17-én. Pedagógiai tanulmányokat folytatott, de csakhamar abbahagyta az egyetemet és kereskedelmi iskolába ment. 18 évesen egy nagy húsüzem könyvelője lett. Nem kedvelte azonban munkáját, ezért először ügynök lett, majd egy véletlen folytán pénztárgép eladó. 1912-ben a cégtulajdonos helyettesévé dolgozta fel magát, majd jó házasságot kötött: egy vasútikocsi-gyáros lányát vette feleségül. 1914-24-ig a New York-i Computing-Tabulating Recording (CTR) vállalat vezetője volt, amely mérlegekre, bélyegzőórákra és könyvelőgépekre szakosodott. Vállalatának 1924-ben az IBM (Industrial Business Machines) nevet adta. 1932-től főleg lyukkártyás gépeket gyártott, s ezzel sikerült az IBM világsikerét megalapoznia. Jó érzékkel használta ki a politikai széljárást is. 1932-ben támogatta Franklin D. Roosevelt demokrata elnökjelöltet, s így annak megválasztása után, a New Deal idején az állam lett az IBM legjobb vevője. Ekkor a cég jövedelme 50 százalékkal emelkedett. A II. világháború idején Watson a cég termelésének kétharmadát a hadiipar szolgálatába állította. Először piacra dobta az IBM 603-as elektronikus szorzógépet, majd az IBM 604-est, ami már osztani is tudott. A computer-technikával azonban nehezen barátkozott meg. Csak a koreai háború formálta át gondolkodását: hazája megsegítésére 1953-ban bemutatta a nyilvánosságnak az IBM Data Processing Machine-t, majd egy év múlva az IBM kidolgozta a Fortran programnyelvet. A cég pár év alatt a világ legnagyobb számítógép előállítójává vált. Négy hónappal halála előtt létrehozta a 140 külföldi leányvállalatát kezelő IBM Trade Corporationt.