Cohn New York-ban született 1891. július 23-án. Filmes karrierjét egy New York-i filmforgalmazó cégnél kezdte. 1920-ban testvérével Jackkel és Joe Brandttal megalapították a C.B.C. Film Sales Companyt. Ekkor Cohn Hollywoodba ment, hogy hozzáfogjon a filmgyártáshoz. A vállalatot később átszervezték és Columbia Pictures Corporation néven működött. Cohnnak jó érzéke volt új tehetségek felfedezéséhez, több sztár az ő igazgatósága idején indult a világhír felé: így Rita Hayworth, Kim Novak színésznők, vagy Frank Capra rendező. A Columbia egész sor örök emlékezetű filmet készített: Ez történt egy éjszaka, Váratlan örökség, Kék hold völgye, Mégis szép a világ, Tegnap született, Most és mindörökké, Híd a Kwai folyón.