Banktisztviselőként dolgozott, s közben futballozni kezdett. 17 évesen már biztos helye volt a Dresdener SC csapatában, amellyel kétszer nyert országos bajnokságot (1943, 1944) és ugyancsak kétszer Német Kupát (1940, 1941). 1937-től a háború végéig 16 alkalommal játszott a nemzeti 11-ben és 17-szer talált az ellenfelek hálójába. Aktív pályafutásának súlyos térdsérülése vetett véget. A háború után, 1946-50 között a kelet-német csapatot irányította, majd elhagyta az NDK-t. A kölni Testnevelési Főiskolán szerzett edzői képesítést. 1956-ban lépett a Német Labdarúgó Szövetség szolgálatába, Sepp Herberger segítőjeként. A nyugatnémet válogatott irányítását 1964-ben vette át és 1978-ig töltötte be a kapitányi tisztet. Nevét az ország labdarúgásának aranykorszakával azonosítják. Kapitánysága idején a német válogatott 139 mérkőzést játszott, ebből 87-et megnyert, 31 döntetlenre végződött, s mindössze 21-et vesztett el. Vezetése alatt az NSZK csapata 1974-ben világbajnoki aranyat, 1966-ban VB-ezüstöt, 1970-ben pedig VB-bronzérmet nyert. Az Európa-bajnokságokon csapata 1972-ben az első, 1976-ban pedig a második helyen végzett. Wiesbaden-ben hunyt el.