Si vous avez la possibilité d'optimiser le contenu de votre site pour les robots, vous constaterez que ce qui améliore le positionnement avec certains robots, a un effet contraire avec d'autres. Pour cette raison vous pouvez être amenés à réaliser des versions spéciales de votre site ou des adaptations dans le contenu des pages.

Il existe diverses méthodes pour 'diriger' les robots vers les données préparées spécialement pour eux:

• Fichier 'robots.txt'
  
  Comme il est possible d'indiquer au robot choisi, de ne pas lire certaines pages ou répertoires, il est donc possible de le forcer à ne lire que les pages préparées spécialement pour lui. Il n'est hélas pas possible de le diriger directement vers ces pages.
• Structure du site
  
  Comme certains robots n'ont pas accès à la totalité des balises (ex: Frames) ou des technologies (ex: PDF ou Flash), il est possible de réserver la suite du contenu pointé, aux autres robots 'plus puissants'.
• Paramètres dans '.htaccess' pour Apache
  
  Apache donne la possibilité d'afficher les pages choisies en fonction des robots. Cette méthode a l'avantage d'être transparente et assez simple à mettre en place, pour la globalité du site ou uniquement pour quelques pages.
• Programmation (php, asp, perl ou autre)
  
  Avec un langage exécuté par le serveur, il est possible de réaliser des variations dans le contenu d'une page, c'est donc la méthode la plus puissante et aussi la plus transparente. Cette méthode donne également la possibilité d'assembler des pages avec des composants spécifiques aux divers moteurs, mais utilisés par toutes les pages ou une sélection de pages du site.