Szegény farmercsaládból származott. 1856-tól az ohiói egyetem tanára volt. 1859-ben kezdte politikai pályafutását, amikor Columbusban tagja lett Ohio állam törvényhozásának. Részt vett a polgárháborúban (az északi hadsereg tábornoka lett), majd 1862-ben beválasztották az amerikai képviselőházba. Itt szolgált különböző funkciókban a pénzügyek szakértőjeként. 1880-ban az ohiói törvényhozás delegálta az amerikai szenátusba. Ugyanebben az évben a chicagói republikánus konvenció őt jelölte az Egyesült Államok elnökének, s novemberben meg is választották. 1881. március 4-én lépett hivatalba, s mindössze 4 hónapot volt elnök: 1881. július 2-án egy washingtoni vasútállomáson merényletet követtek el ellene. (A tettes azért lőtte le, mert nem kapott meg tőle egy diplomáciai állást.) Hosszas szenvedés után hunyt el 1881. szeptember 19-én.