A breslaui gettóban született egy zsidó kereskedő legidősebb fiaként 1828. január 24-én. Felsőfokú tanulmányait 14 évesen a Breslaui Egyetem filozófiai fakultásán kezdte, később fordult a botanika felé. Származása miatt itt nem szerezhetett doktorátust, ezért a liberálisabb Berlinbe ment, ahol 1847-ben, 19 évesen doktorált. 1850-ben a Breslaui Egyetem oktatója lett, 1859-től itt magántanár, 1871-től a növénytan professzora volt. 1866-ban alapította az egyetem növényélettani tanszékét, melynek később a vezetője lett - ez volt a világon az első ilyen intézmény. Korai kutatásai az egysejtű algákra (moszatokra) irányultak, mikroszkóppal figyelte meg az egyes fejlődési szakaszokat. Az algák életciklusairól tanulmányokat írt, 1855-ben hozzájárult ivaros szaporodásuk igazolásához, továbbá rendszerezésükhöz. 1868-ban a baktériumokat kezdte kutatni. Felépítésükkel kapcsolatos tanulmányaival megpróbálta őket is rendszerbe sorolni, fajaikat, négy csoportjukat és hat nemzetségüket különböztette meg. Hangsúlyozta azonban, hogy a morfológia nem lehet a rendszerezés egyedüli alapja, s a biokémiai jellemzőket is figyelembe kell venni. 1870-ben alapította a Beiträge... (Közlemények a növények biológiájáról) című folyóiratot, amelyet csakhamar Cohn-féle Beiträge néven emlegettek, s amely számos alapvető bakteriológiai tanulmánynak adott helyet. Legfontosabb eredményei közé tartozik bizonyos baktériumok spóráinak, az endospórák kialakulásának és csírázásának felfedezése. Felismerte az endospórák ellenállását a magas hővel szemben, és megcáfolta spontán keletkezésük elméletét - a spórák ugyanis túlélik a hevítést. Ez az eredménye fontos szerepet kapott a sterilizációs technika fejlődésében. 1876-ban az akkor még ismeretlen Robert Koch megkérte, értékelje a szarvasmarhák és juhok betegségéről, a lépfenéről (anthrax) szóló dolgozatát. Cohn vállalta a munkát, s hamar felismerte, hogy a vidéki orvos `a tudományos kutatás páratlan mestere`. A tanulmány a Beiträge-ben jelent meg, s kimutatta, hogy a lépfene kórokozója a Bacillus anthracis. Robert Kochot Cohn támogatásával kinevezték a Berlini Egészségügyi Hivatalhoz. Cohnt tekintik a bakteriológia egyik megalapítójának, aki elsőként határozta meg a baktérium fogalmát. Szűlővárosában érte a halál.