Édesapja a két világháború között katonaként, illetve diplomataként töltött be fontos tisztségeket. 1939-től 1941-ig a Magyar Királyság spanyolországi nagykövete. Jugoszlávia megtámadása miatt azonban politikai meggyőződésének hangot adva lemondott posztjáról. Az ifjabb Andorka a Piarista Gimnáziumban érettségizett, majd 1949-ben felvételt nyert az Eötvös Loránd Tudományegyetem Jogtudományi Karára. 1951-ben, édesapja internálása után egy évvel kitelepítették, ezzel hosszú időre lehetetlenné vált egyetemi tanulmánya. 1957-ben `1956-os izgatás miatt` öthónapi börtönbüntetésre ítélték, amit letöltött.
Ezután műszaki fordításból (angol, német, francia, lengyel, spanyol, és olasz) élt, majd 1962 őszétől a Központi Statisztikai Hivatal Könyvtárában, 1963-tól pedig a Népességtudományi Kutatóintézetben dolgozott. Ugyanebben az évben, csak harminckét éves korában szerezhette meg jogi doktorátusát. 1970-től-1983-ig a KSH Társadalmi Statisztikai Főosztályának volt kutató munkatársa, közben oktatott. Ezután került a Közgazdaságtudományi Egyetemre, ahol előbb szociológiaprofesszorként, majd a szociológia tanszék vezetőjeként tevékenykedett. A szociológia tudomány kandidátusa címet 1979-ben, a tudomány doktora fokozatot 1989-ben kapta meg. 1991-ben lett az universitas rektora. A Magyar Tudományos Akadémia 1990-ben választotta levelező tagjai sorába. 1991-től töltötte be az Országos Kutatási Alap elnöki tisztét. Kutatási területe felölelte a társadalmi rétegződés, mobilitás és életmódváltozás, valamint a deviáns viselkedés szociológiája témakörét. Publikációinak sora foglalkozott az értelmiség szerepválságának okaival, napjaink társadalmának rossz közérzetével. Számos szakkönyv és több száz tanulmány szerzője. Tagja volt a Nemzetközi Szociológiai Társaságnak, a Nemzetközi Demográfiai Társaságnak, illetőleg az Európai Tudományos és Művészeti Akadémiának. 1995 októberében elnyerte az Osztrák Tudományos és Művészeti Érdemkereszt I. fokozatát. 1996-ban Széchenyi-díjjal tüntették ki "a társadalmi mobilitás vizsgálatában, valamint a tudományszervezésben és a nemzetközi tudományos kapcsolatok fejlesztésében szerzett érdemeinek elismeréseként." 1997-ben Magyar Örökség-díjjal díjjal tüntették ki. Szintén abban az évben kapta meg a Francia Becsületrend lovagi fokozatát. Presbiter volt, 1991-től látta el a Magyarországi Evangélikus Egyház Zsinatának világi elnöke tisztét.