In zijn jeugd doet Hary aan voetbal, maar op zestienjarige leeftijd stapt hij over op atletiek. Zijn ouders steunen hem in eerste instantie niet. Maar in 1957 traint hij onder Bert Sumser en wordt hij datzelfde jaar nationaal vice-kampioen achter Manfred Germar. het jaar daarop werd hij opnieuw tweede achter diezelfde Manfred Germar.
Zijn eerste internationale titel behaalt Armin Hary op het Europees kampioenschap in 1958 in Stockholm. Individueel wint hij op de 100 m een gouden medaille.
Op 6 september 1958 loopt Hary in Friedrichshafen voor de eerste maal de 100 m in precies 10 seconden. Dit record wordt echter niet erkend omdat het hoogteverschil van de baan 11 cm blijkt te zijn in plaats van de toegestane 10 cm. Tijdens een atletiekmeeting op 21 juni 1960 in Zurich lukt het hem uiteindelijk wel om officieel te finishen in precies 10 seconden, al wordt pas zijn tweede poging als zodanig erkend. Zijn eerste race wordt door de starter namelijk geannuleerd, nadat hij bekent dat hij de atleten had moeten terugschieten wegens een valse start van één van de deelnemers. De race wordt opnieuw gelopen en Hary slaagt erin om de klok opnieuw te laten stilzetten op 10 seconden.
In de loop der jaren wordt deze tijd na hem nog een aantal keer geëvenaard maar het is pas in 1968 dat Jim Hines beter doet.
Hary's overwinning op de 100 m in Rome maakt alom grote indruk. Niet alleen omdat voor het eerst sinds 1932 de Amerikaanse suprematie op dit nummer door een Europeaan wordt doorbroken, maar vooral ook door de manier waarop. IN een verslag tekent men het volgende op: 'ik zal nooit vergeten hoe ongelooflijk kalm deze blonde jongen was, met zijn 23 jaar, zijn stevige bouw en zijn fabuleus reactievermogen, de opmerkelijkste sprinter ooit. Voor de wedstrijd van zijn leven arriveerde hij gekleed als toerist met strohoed en geruit overhemd, met zijn startblok onder de arm als of het om een strandstoel ging. Terwijl de andere lopers in de minuten voor de start leken te vertragen, begaf Hary zich, na minutenlang zeer zorgvuldig de veters van zijn spikes te hebben dichtgeknoopt, in looppas naar de start. Niets, zelfs niet de valse starts, zelfs niet de tweede, die hem werd toegerekend, niets kon zijn kalmte verstoren en zijn race was vervolgens fraai en zuiver als kristal'.
Nadat hij wordt geschorst voor een jaar wegens verkeerde onkostendeclaraties en een auto-ongeluk krijgt waarbij hij een knieblessure opliep, beëindigt Armin Hary, gefrustreerd door het gedrag van de functionarissen in 1961, zijn carrière, en gaat hij werken in de onroerend goed branche. 'Schnell wie Hary' is heden ten dage nog steeds een Duitse uitdrukking.
