Chaque site possède un fichier accessible en ligne, appelé robots.txt, qui indique aux moteurs de recherche les contenus du site à intégrer dans leurs bases de données. Ce sont ensuite ces contenus qui seront proposés par les moteurs de recherche pour afficher les pages de résultats de recherche.

Par convention, chaque moteur de recherche respecte les règles définies dans ce fichier pour déterminer quels contenus sont à intégrer, et lesquels devraient être exclus. Le fichier est en effet destiné à leur usage exclusivement, et mis à disposition des robots des moteurs de recherche pour leur fournir l'information dont ils ont besoin.

Pour modifier le fichier robots.txt de votre site, rendez-vous dans le menu Marketing > Référencement > Robots.txt.