Les premiers prisonniers du château d'If sont enfermés en novembre 1540. Ce sont deux pêcheurs marseillais.
En dehors des cellules du rez-de-chaussée, dans lesquelles la promiscuité associée à une hygiène déplorable laisse aux prisonniers une espérance de vie de 9 mois, il est possible, moyennant finance, de louer une cellule au premier étage, appelée aussi « chambre passable » ou « pistole » (du nom de la monnaie servant au paiement) ; plus spacieuses, ces cellules ont généralement des fenêtres et des cheminées. Les prisonniers fortunés y étaient enfermés.
120 personnes furent emprisonnées après les émeutes de 1848.
Après le coup d'État du 2 décembre 1851, le château reçut provisoirement 304 détenus en attente de leur déportation vers le bagne de Maison-Carrée (Algérie) ou celui de Cayenne (Guyane).
D'autres prisonniers politiques y furent également enfermés lors de la chute du Second Empire (1870), comme Gaston Crémieux, fusillé l'année suivante.
Les derniers prisonniers sont des civils Alsaciens et Lorrains libérés en septembre 1914.
Le château d'If est la première forteresse royale de Marseille. La seconde est le Fort Notre-Dame construit après 1536 toujours sur l'ordre de François Ier. Cela devint le site constitutif de la Basilique Notre-Dame-de-la-Garde.
La construction d'une forteresse est un acte politique. Il s'inscrit dans le cas du château d'If dans un projet plus vaste de contrôle des côtes provençales : Marseille est au XVIe siècle « la plus belle fenêtre du royaume de France en Méditerranée du nord ». Le principal atout du bâtiment est sa situation au centre de la rade Nord de Marseille sur les routes de navigation les plus fréquentées.
Le chantier du château d'If a démarré à la mi-avril 1529, retardé à cause du mauvais temps. La date de fin de chantier n'est pas connue. La première garnison et son gouverneur sont en place dès 1531. Une partie des matériaux de construction proviennent du siège de Marseille par les Espagnols en septembre 1524. Le lien entre le siège de 1524 et la construction du château d'If n'est pas établi.
Le fort a lui-même le plan d'un carré avec des côtés de longueur 28 mètres, flanquée de 3 tours cylindriques. Chaque tour comporte grandes ouvertures. La tour Saint Christophe (1)dans le nord-ouest est la plus haute tour et permet de surveiller la mer, à 22 m de hauteur. La tour a été construite de 1524-1527, et la tour résidentielle associée (Keep) date de 1529.
Les Tour Saint Jaume(2) et Maugovert (3) sont à l'opposé nord-est et sud-est de la ville. Les tours sont reliées par une terrasse spacieuse - delà d'un étroit, mètre de profondeur, sur deux étages - le salon et cuisine au rez-de-chaussée, casemates au premier étage. Les trois tours, une réunion de la puissance de feu considérable, ce qui rendait le Château d'If, une puissante citadelle. Il se compose de trois niveaux.
En 1702 Vauban fit ajouter une maison de garde, à droite avant la sortie de la forteresse, la caserne Vauban.
Le château et le mur d'escarpe entourant l'îlot ont été classés monument historique le 7 juillet 1926.