Rossi Nápolyban született. Tízéves korában került Oroszországba és V. F. Brenna építésznél tanult, aki mellett közreműködött a pavlovszki és gatcsinai paloták építkezésein. 1809-ben Tverben építési és városrendezési munkákkal bízták meg, 1816-ban I. Sándor udvari építésze lett, s 1818-ban megkezdte a Jelagin-szigeti palota építését. Az ő nevéhez fűződtek a pétervári klasszicizmus legjellegzetesebb, a nézőt a lépték nagyságával, és a formák fenségével lenyűgöző épületei. 1819-23 között alkotta meg egyik legnagyszerűbb művét, a pétervári Mihajlovszkij-palota épületcsoportját (később Állami Orosz Múzeum) és a környező tér rendezését. Következő nagy műve a pétervári Téli palota előtti tér együttesének kialakítása (1819-29) és a Vezérkar, a külügy- és a pénzügyminisztérium új épületeinek létesítése. Hatalmas együttes alkotott a Sándor-színház (ma: Puskin-színház) építésével (1827-32) és a környező tér átrendezésével. Ennek része a róla elnevezett Rossi-utca is, melyet Európa egyik legszebb, egységes beépítésű utcájaként emlegetnek. Utolsó jelentős műve a Szenátus és a Szinódus (később Központi Állami Történelmi Múzeum) épületeinek tervezése volt a köztük átívelő hatalmas diadalívvel, de az építkezést már más irányította. 1849. április 18-án halt meg Szentpétervárott.