In arealul municipiului au fost descoperite vestigii neolitice apartinand culturilor Vinca-Turdas, Petresti, Cotofeni, precum si din epocile bronzului si fierului. Vechea asezare dacica cu numele Tharmis a fost cucerita de catre romani in secolul al II-lea d. Hr. Romanii au construit aici cel mai mare castru din Dacia, cu ziduri de piatra, care se intindea pe 27-30 de hectare. Legiunea a XIII-a Gemina si-a stabilit sediul aici, iar in jurul castrului roman a inceput sa se dezvolte o puternica asezare civila cu numele Apulum. In timpul imparatului Marcus Aurelius asezarea a fost ridicata la rangul de municipiu cu numele Municipium Aurelium Apulense si apoi in 180-193 d.Hr. la cel de colonia cu numele
In secolele al IX-lea si al X-lea aici era un centru fortificat cunoscut in izvoarele istorice cu numele de Alba Iuliae sau Balgrad nume care avea sensul de Orasul sau Cetatea Alba.
Referitor la sensul denumirii de Balgrad, istoricul roman Nicolae Iorga afirma:
„... Belgradul fiind un "grad", o cetate in fiinta, arata tocmai existenta zidurilor, care fiind de piatra, erau si aici, (...), albe pentru taranii deprinsi cu lemnul negru al caselor lor. Rolul cetatilor albe la slavi e mare, dar nu vine din propriul lor aport, ci din influenta burgurilor france, trecute la moravi". "
({{{2}}})
Pe langa numele de Balgrad au existat si alte denumiri ale orasului: Fehervar (in limba maghiara) si Weissenburg (in limba germana).
A fost mentionat documentar pentru prima data in 1097, iar apoi in 1177 ca resedinta a unui comitat si a episcopiei romano-catolice a Transilvaniei. Oras a devenit in secolul al XIII-lea si a avut parte de conditii favorabile de dezvoltare pana la invazia tatara din 1241. A fost consemnat si cu numele de Karlsburg si Alba Carolina, iar in 1299 si 1303 cu numele de Alba Transilvana.
Imparatul austriac Carol al VI-lea a decis reorganizarea Transilvaniei, ca provincie de granita, in secolul al XVIII-lea. Alba Iulia a fost unul dintre orasele transilvanene destinat a primi trupe austriece pentru aparare. Palatele principelui Transilvaniei, existente in oras, precum si alte constructii din oras au fost transformate in cazarmi pentru a adaposti aceste trupe. Cetatea orasului a fost grav avariata in timpul razboiului curutilor, motiv pentru care dieta din Sibiu, tinuta in luna mai a anului 1714, a decis reconstructia cetatii Alba Iulia. Noua cetate a fost construita dupa planurile lui Giovani Morando Visconti.
Lucrarile de construire a noii cetati a orasului Alba Iulia au inceput la data de 4 noiembrie 1715, ziua aniversarii imparatului austriac. Guvernatorul Transilvaniei, Sigismund Kornis, si generalul Steinville au pus in mod simbolic piatra de temelie a fortificatiilor. Lucrarile s-au incheiat in anul 1738, timpul lung scurs pana la finalizarea cetatii a fost necesar din cauza faptului ca proiectul a fost unul de amploare, care a necesitat stramutari de populatie, demolari a cladirilor aflate pe locul proiectatei fortificatii, dar si din cauza razboaielor austro-turcesti din anii 1716-1718 si 1736-1739 si a ciumei ce a bantuit Transilvania la sfarsitul anilor '20 ai secolului al XVIII-lea.
Intre anii 1918-1919, presedinte al Consiliului National Roman din oras a fost protopopul ortodox Ioan Teculescu. In aceeasi perioada comandant al Legiunii Romane Alba Iulia a fost capitanul Florian Medrea, comandant al garzii orasenesti a fost capitanul Zmeu, iar presedintele garzii a fost Nicolae Sandru