Gyulavárin született 1900. július 24-én. A debreceni kollégiumban érettségizett, majd beiratkozott a budapesti Pázmány Péter Tudományegyetemre, ahol matematika-fizika szakon végzett. 23 évesen már tanársegéd volt az egyetemen, majd 1926-ban ösztöndíjjal Berlinbe ment, ahol kísérleti témákkal foglalkozott. Sikerült kísérletileg megállapítania, hogy az aktív nitrogéngáz szabad nitrogénatomokat foglal magába, s az ifjú tudós felfedezése nemzetközi viszonylatban is komoly tudományos sikernek számított. Hazatérése után, 30 éves korában professzornak nevezték ki a szegedi egyetem elméleti fizikai tanszékére, ahol munkatársaival kifejlesztett egy újfajta elektrokardiográf készüléket, sőt közel járt a szívritmus-szabályozó, azaz a pacemaker megvalósításához is. 1936-ban az Egyesült Izzó meghívta budapesti kutatólaboratóriumának élére. A laboratórium abban az időben Magyarország egyik legjobban felszerelt tudományos műhelye volt, ahol Bay nem csak a gyakorlati, de az elméleti alapkutatásokban is részt vett. Ezzel egy időben a budapesti Műegyetem professzoraként is tevékenykedett, ahol - az országban elsőként - ő hozta létre az atomfizikai tanszéket. A tanszéken csakhamar hozzálátott egy másfél millió voltos gyorsító megépítéséhez, amely 1944-re elkészült ugyan, de a háború miatt használatba már nem kerülhetett.
A II. világháború alatt őt bízták meg a rádiólokátor, azaz a radar kifejlesztésére alakult tudóscsoport munkájának irányításával, s vezetésével 1943-ra sikerült olyan készüléket szerkeszteni, amely már 18 km távolságból észlelte a tárgyakat. A komoly hadászati jelentőségű berendezést 1944-ben már sorozatban gyártották. A háború után a radar tudományos célú felhasználásának lehetőségeit kutatta, s 1946. február 6-án világraszóló jelentőségű eredményt ért a Holdról visszavert radarjelek észlelésével. 1945-ben a MTA rendes tagja és az Elektrotechnikai E gyesület elnöke lett. Több nagysikerű külföldi tudományos előadás után, 1948-ban professzornak hívta a washingtoni George Washington Egyetem, ahol főként a fény sebességének vizsgálatával foglalkozott, s nagy része volt a radarcsillagászat tudományának kifejlesztésében is. Sikerült megállapítania, hogy a fénysebesség az űrben független a fény rezgésszámától, s ezen kiemelkedő tudományos eredménye vezetett egy új, megbízhatóbb alapokon nyugvó mértékrendszer kialakításához. 1955-ig dolgozott a George Washington Egyetemen, majd 1955-72 között az amerikai Országos Szabványhivatal fizikusa volt. 1972-től a washingtoni Amerikai Egyetem kutató professzora. Számos tudományos cikket publikált, és megírta visszaemlékezéseit. Aki letapogatta a Holdat címmel portréfilm is készült munkásságáról. Washingtonban érte a halál. 1993. április 10-én szülőföldjén, a gyulavári temetőben helyezték végső nyugalomra.