Szülővárosában, Veronában csellistaként debütált, 1908-tól tanult zeneszerzést a milánói konzervatóriumban. Tanulmányai befejeztével két évig Toscanini asszisztense volt, karmesterként 1921-ben Rameau Platée-jával mutatkozott be Milánóban. Hamarosan nemzetközi hírnévre tett szert, Buenos Airesben, az USA és Európa nagyvárosaiban, a nagy olasz operaházakban, a milánói Scalában, a New York-i Metropolitanben vezényelt. Főként az operairodalom nagy német mestereinek népszerűsítésével szerzett hírnevet. 1928-tól Budapesten működött, ahol először az Aidát és a Falstaffot vezényelte, Tóth Aladár csodálatos kritikát írt róla. Csakhamar az Operaház örökös tagja és vezető karnagya lett. Halhatatlan érdemeket szerzett a magyar operaélet formálásában, amelyhez Verdi, Wagner, Puccini műveinek betanításával és vezénylésével, valamint énekesek és hangszeres zenészek művészi fejlődésének támogatásával járult hozzá. Lelkes híve és népszerűsítője volt Bartók és Kodály művészetének, ő dirigálta a Székelyfonó ősbemutatóját. A háború alatt sokaknak szemet szúrt nyíltan hangoztatott antifasizmusa, bántódás mégsem érte. Az ostromot Budapesten élte át. A II. világháború után nemzetközi karrierje is felívelt, ő kezdeményezte a veronai Arena operaelőadásait. 1947-ben a Chicago Civic Opera és a New York-i Metropolitan karnagya lett. Művészi példaképének Toscaninit vallotta, ő maga is a Toscanini-típusú, dinamikus karnagyok közé tartozott, akik a művek belső lendületét szólaltatták meg. Beethoven IX. szimfóniájának vezénylése közben hullott ki kezéből a karmesteri pálca. Agyvérzés érte. A Magyar Állami Operaház Kamarazenekarát Sergio Failoniról nevezték el. Írásai: Hazugságok a művészetben (1943), Hangfogó nélkül (1945).