Povestea castelului incepe in secolul al XI-lea, cand Foulques Nerra, conte de Anjou, a reconstruit fortareata in stanca ce fusese ridicata in imediata vecinatate a Loarei, ca punct strategic.Incepand din secolul al XI-lea, trei fortarete ridicate pe fluviu, langa insula Saint Jean, au fost in stapanirea puternicilor conti de Amboise, pana la confiscarea lor de catre Ludovic al VII-lea.Vecinatatea insulei a facilitat construirea unui pod cu mare importanta economica si militara.In secolul al XV-lea, Ludovic al XI-lea a facut din Amboise resedinta sotiei sale Charlotte de Savoie, care l-a nascut aici pe viitorul Carol al VIII-lea in anul 1470.Acesta a copilarit in acest loc impreuna cu sora sa, Anne de Beaujeu.La 13 ani a urcat pe tron si in 1492 a decis construirea unui nou si maret castel.
La inapoierea din campania din Italia (1495), regele a adus nu numai prada de razboi, mobilier, tablouri, statui, ci si multe idei, precum si o echipa de 22 de mesteri constructori, sculptori, ebenisti si gradinari pentru a finaliza castelul si parcul in felul celor vazute in Italia, dar mai fastuos.Printre acesti artisti italieni s-au numarat Fra Giocondo, Boccador si horticultorul italian Pacello de Mercogliano.
Carol al VIII-lea a murit in 1498, la varsta de 28 de ani, fara a se bucura pe deplin de rezultatele eforturilor sale.L-a urmat varul sau Ludovic al XII-lea, dar apogeul istoric al castelului va fi atins sub Francisc I, varul si totodata ginerele lui Ludovic al XII-lea.In 1515 acesta l-a invitat aici pe Leonardo da Vinci (artistul avea pe atunci 64 de ani), care si-a trait ultimii ani si a si fost ingropat aici.
La inceputul secolului al XVII-lea, castelul a devenit proprietatea lui Gaston d’Orleans, fratele regelui Ludovic al XIII lea. Ulterior, castelul a carei maretie a inceput sa paleasca si-a schimbat foarte des proprietarii in functie de capriciile Coroanei.Din pacate multi dintre noii proprietari nu au dispus de mijloacele materiale necesare pentru a-l intretine, el devenind treptat o ruina. Ca urmare, in 1848, statul a readus castelul in proprietatea sa si l-a transformat in inchisoare, aici fiind inchis pana in 1852, Abd El Kader.
In 1873, castelul a fost din nou restituit familiei d’Orleans care l-a transformat in azil de batrani.Apoi, la inceputul secolului al XX-lea, Ruprich-Robert si urmasii sai au restaurat Amboise, redandu-i a doua tinerete. In zilele noastre castelul are aceeasi maretie ca in perioada sa de glorie din secolele XV-XVI cu toate ca el nu mai reprezinta decat o cincime din ceea ce era o data.Acum, fosta fortareata Amboise este proprietate de stat, caruia i-a fost oferit de contele de Paris, fiind gazda unor spectacole in stil renascentist, organizate periodic de oficialitatile locale.