Honesdale-ban született 1848. november 27-én. 1872-től fizikát tanított a Renssealer Műegyetemen, a New York állambeli Troyban, majd a baltimore-i Johns Hopkins Egyetem fizika tanszékének vezetője lett. 1876-ban bebizonyította, hogy a mozgó elektromos töltés éppúgy mágneses hatású, mint az áram. Később, a korábbiaknál fejlettebb mérési módszerekkel újra meghatározta a hő mechanikai egyenértékét, valamint az ohmot, az elektromos ellenállás egységét. 1885-ben elkészítette gépét, amely 1 cm-es sávban 8000 vonalat vésett egy homorú gömbtükörre. Ezzel az ún. Rowland-ráccsal alakította ki spektrométerét, majd kidolgozta a színképelemzés pontos módszerét. 1888-ban fejezte be a Nap normál színképének térképét, amely 11 m hosszú spektrogramm volt. A Nap színképvonalainak táblázatát 1895-97-ben adta ki, ez több tízezer vonalat tartalmazott és évekig alapvető kézikönyv maradt. 1899-1901 között ő volt az Amerikai Fizikai Társaság első elnöke. 1899-ben a londoni Royal Society külföldi tagjává választották.