Fonctionnement
Le cache contient une copie des données originelles lorsqu'elles sont coûteuses (en termes de temps d'accès) à récupérer ou à calculer par rapport au temps d'accès au cache. Une fois les données stockées dans le cache, l'utilisation future de ces données peut être réalisée en accédant à la copie en cache plutôt qu'en récupérant ou recalculant les données, ce qui abaisse le temps d'accès moyen.
Le processus fonctionne ainsi :
- l'élément demandeur (microprocesseur) demande une information ;
- le cache vérifie s'il possède cette information. S'il la possède, il la retransmet à l'élément demandeur – on parle alors de succès de cache (cache hit en anglais). S'il ne la possède pas, il la demande à l'élément fournisseur (mémoire principale par exemple) – on parle alors de défaut de cache (cache miss);
- l'élément fournisseur traite la demande et renvoie la réponse au cache ;
- le cache la stocke pour utilisation ultérieure et la retransmet à l'élément demandeur au besoin.
Si les mémoires cache permettent d'accroître les performances, c'est en partie grâce à deux principes qui ont été découverts suite à des études sur le comportement des programmes informatiques :
- le principe de localité spatiale qui indique que l'accès à une donnée située à une adresse X va probablement être suivi d'un accès à une zone tout proche de X ;
- le principe de localité temporelle qui indique que l'accès à une zone mémoire à un instant donné a de fortes chances de se reproduire dans la suite immédiate du programme.
Gestion d'un cache à niveau logiciel
Au-delà de ces systèmes matériels de gestion d'un cache, le terme de mémoire cache est aussi utilisé par abus de langage pour désigner tout mécanisme mis en œuvre dans un logiciel afin de permettre une réutilisation rapide de données déjà transférées auparavant.
Par exemple, tout système d'exploitation moderne possède, à l'interface entre les systèmes de fichiers et les pilotes chargés du stockage de masse, une sous-entité dont le but est de garder en mémoire vive les données récemment lues ou écrites ; cela permet d'éviter les entrées/sorties inutiles avec le stockage de masse, car celles-ci sont généralement plus lentes que celles avec la mémoire vive.
Le principe est le suivant :
- lorsqu'une demande d'écriture (respectivement : de lecture) est faite au système de fichiers, celui-ci demande au système de gestion de la mémoire de marquer la zone mémoire source (respectivement : destination) avec un identifiant unique (la position des données sur le disque dur par exemple) ;
- si une demande de lecture intervient par la suite, le système de fichiers n'effectue pas le transfert immédiatement, mais demande au système de gestion de la mémoire si les données sont par hasard déjà en mémoire. Si ce n'est pas le cas, ce n'est pas grave et le transfert commence comme si de rien n'était. Par contre, si la réponse est positive, alors un temps précieux a été gagné pour le transfert et le disque dur a été libéré d'un transfert inutile.
La cohérence est garantie si à tout transfert est associé un marquage des données en mémoire. Évidemment, un algorithme est chargé (basé sur des critères d'âge et de réutilisation des données) de choisir quelles sont les données susceptibles de rester dans le cache ou bien d'être supprimées.