Lochfieldben született 1906-ban szerzett orvosi diplomát a londoni egyetemhez tartozó St. Mary,s Hospital Medical Schoolban, ahol tanítani kezdett. Az immunológia, az általános bakteriológia és a kemoterápia területén kutatott, olyan antibakteriális anyagokkal foglalkozott, amelyek nem károsítják az emberi szöveteket. Nagy-Britanniában ő honosította meg a vérbaj gyógyítását az Erlich által kifejlesztett Salvarsannal. Az I. világháborúban a hadsereg egészségügyi alakulataiban szolgált, tevékenységéért kitüntették. Kutatásait a háború alatt is folytatta. 1918-ban visszatért az egyetemi kórházba, 1919-ben professzor lett. 1921-ben azonosította és izolálta a lizozimet. Ez az enzim bizonyos állati szövetekben és testváladékokban - pl. könnyben és nyálban - található, és antibiotikus hatású.
1928-ban megfigyelte, hogy a Staphylococcus baktériumok tenyészetében egy penészgombatelep, a Penicillium notatum spórái körül baktériummentes gyűrű alakul ki. A penészfoltban olyan anyagot talált, amely még nyolcszázszoros hígításban is meggátolta a baktériumok növekedését. Ezt az anyagot, amely az élő szervezeten belül elpusztítja a baktériumokat, penicillinnek nevezte el. Megvizsgálta, mely fajtájú baktériumokra hat, s melyekre nem, s azt is megállapította, hogy az állati, illetve emberi szervezetre nincs káros hatása. A penicillin kémiai azonosítását H. W. Florey és E. B. Chain végezte el. Eredményeit egy évvel később jelentette meg egy szakfolyóiratban. Ez volt az első gyógyszer, amelyet az antibiotikumok közé sorolnak. Az anyag ipari előállítása csak a II. világháború idején valósult meg a sebesültek sürgető kezelése miatt. Fleminget 1943-ban a Royal Society tagjává választották, 1944-ben lovaggá ütötték. 1945-ben E. B. Chain-nel és H. W. Florey-val megosztva orvostudományi Nobel-díjat kapott. 1948-ban a londoni egyetem professzoraként vonult nyugdíjba. 1999-ben 1600 közismert skót személyiség közül az évszázad emberének választották.