Budapesten született, gépészmérnöki diplomáját a budapesti Műegyetemen szerzett. Ezután ösztöndíjasként Németországban tanult: Göttingenben doktorált és 1912-ig egyetemi tanárként dolgozott. Az I. világháború alatt a repülő hadtestnél kutatómérnök, ahol Petróczy Istvánnal és Zurovetz Vilmossal közösen elkészítette a világ első katonai helikopterét, amely a repülés történetében a három feltaláló vezetéknevének kezdőbetűje alapján PKZ néven vált ismertté. Az I. világháború után a német Luftwaffe egyik megalapítója és a Junkers művek szaktanácsadója volt. 1929-ben az USA-ba hívták, ahol a Guggenheim-laboratórumban részt vett a rakétakutatásban. A Pasadenában folytatott aerodinamikai kutatásai nyomán Kármánt világszerte a hangsebességen felüli repülés atyjának kiáltották ki. Ő volt az életre hívója és első igazgatója az űrkutatás békés célokat szolgáló világszervezetének, a Nemzetközi Asztronautikai Akadémiának. 1951-től elnöke volt a NATO repülésügyi kutatási és fejlesztési tanácsának is. Világszerte szaktanácsadó volt az aerodinamika, repülőgéptervezés, aeronautika, asztronautika és a világűrközlekedés terén. Vezető szerepe volt a B-36, B-47 és B-52-es bombázók, az Atlas, Titan és Minuteman rakéták kifejlesztésében. 1963-ban ő kapta meg - elsőként - az Egyesült Államok legnagyobb tudományos kitüntetését, a Nemzeti Tudományos Érmet (National Medal of Science), amelyet személyesen J. F. Kennedytől, az USA elnökétől vehetett át. Aachenben hunyt el 1963. május 7-én. Halála után a Hold és a Mars egy-egy kráterét nevezték el róla. Az Egyesült Államok postahivatala 1991-ben bélyeget adott ki róla.