Robot d'indexation

CCapucine

Un robot d’indexation, c’est un programme automatisé qui parcourt des pages web, repère leur contenu et l’ajoute à un index consultable. Comme un lecteur qui avance de porte en porte dans une bibliothèque, il suit les liens entre les pages, relève des informations, puis les organise pour qu’un moteur de recherche puisse retrouver ces pages. Grâce à ce travail, le moteur propose des résultats sans relire le web à chaque recherche. Mais le robot ne comprend pas nécessairement une page comme une personne : il repère surtout des éléments techniques et textuels, et son parcours dépend aussi des règles du site. Une page peut rester absente des résultats si elle est inaccessible, bloquée par les consignes du site ou pas encore visitée ; cela ne signifie pas qu’elle n’existe pas, seulement qu’elle n’a pas été ajoutée à l’index.