John Uhler Lemmon néven Bostonban látta meg a napvilágot 1925. február 8-án. Massachusettsben járt iskolába, majd Cambridge-ben a Harvard Egyetemen tanult. New Yorkban az Old Nick szalonban zongorázott, rádiós szappanoperában lépett fel, később pedig a televízió foglalkoztatta producerként és színészként. 1953-ban jutott el először a Broadwayre, ahol nagy sikereket aratott. 1954-ben forgatta első filmjét. Sajátos humorú, kiváló jellemábrázoló komikus, de a drámai művekben is hiteles alakításokkal tűnt ki. Az 1955-ben forgatott Mister Roberts jelentette számára a kiugrást. Ellenállhatatlanul mulattatott a Van, aki forrón szereti (1959) című komédiában, emlékezetes alakítást nyújtott a Legénylakásban (1960), az Irma, te édes című musicalben (1963), a Hogyan gyilkoljuk meg feleségünket? (1964), a Verseny a javából (1965), a Furcsa pár (1968), a Szenzáció (1974), a Kína-szindróma (1979), az Eltűntnek nyilvánítva (1982) című filmekben. Régi partnerével, Walter Matthauval komédiázott az 1994-ben forgatott, A szomszéd nője mindig zöldebb című moziban, majd a Még zöldebb a szomszéd nője (1995) és a Furcsa pár II. (1998) című vígjátékokban. Gyakran szerepelt a tévében, s rendezéssel is foglalkozott. Nyolcszor jelölték Oscar-díjra, amit kétszer neki ítéltek oda.