Castelul isi incepe viata ca o cetate, construit intre 1524 - 1531, din ordinul regelui Francisc I. A fost proiectat initial ca o cetate de aparare impotriva atacurilor de pe mare si nascut controverse din clipa in care a fost functional. Marsilia a fost anexata Frantei in 1481 dar orasul a trebuit in continuare sa-si asigure propria securitate.
Chateau d'If a fost vazut de multi ca o amintire nedorita a autoritatii regale. Si, desi a respins cu succes un atac pe mare venit din partea lui Carol Quintul in 1536, pe masura cu trecerea timpului, tunurile acestuia s-au dovedit insuficiente pentru a ajunge la navele invadatoare.
Castelul devine inchisoare in mijlocul secolului al XVI-lea. Printre primii "oaspeti" inchisi aici au fost doi pescari si un cavaler "Anselme" acuzat de complot impotriva regalitatii si ulterior gasit spanzurat in propria celula.
In urmatorii 200 de ani, inchisoarea include 3.500 de hughenoti (protestanti francezi) care si-au castigat dreptul de a fi folositi ca sclavi in bucatariile de pe vapoare si pe Monsieur de Niozelles, inchis pentru sase ani, pentru ca nu a dorit sa-si
dea palaria jos in prezenta lui Ludovic al XIV-lea. Altii au fost inchisi fara judecata, prin numitele "lettres de cachet", semnate de catre rege, pentru contraventii minore, folosite ca si paravan de catre familiile cu bani, pentru a scapa de progeniturile dezordonate, fara a provoca scandaluri publice. Scriitorul si revolutionarul Gabriel Riqueti, conte de Mirabeau, un adevarat casanova al vremurilor sale, in ciuda aspectul sau hidos, a fost inchis aici in 1774 si, conform legendei, a sedus-o pe femeia care conducea cantina. Gaston Cremieux, lider al Comunei din Paris a fost impuscat aici in 1871.
Alexandre Dumas - Contele de Monte Cristo
Contele de Monte Cristo este insa prizonierul emblema al inchisorii si responsabilul pentru mistica si fascinatia acesteia. Dumas a fixat actiunea romanului la inceputul secolului al XIX-lea si publica cartea in 18 parti, intre anii 1844 - 1846. De multe ori adaptat pentru film si televiziune, romanul povesteste despre viata lui Edmond Dantes, un marinar acuzat pe nedrept de tradare. Serveste 14 ani de inchisoare si este singurul detinut care reuseste sa evadeze inotand pana in oras. Astazi, imaginea lui este la baza unei curse de inot anuale, care se numeste Monte Cristo Challenge.