La balise meta robots
La balise meta robots permet d'autoriser ou d'interdire aux robots d'indexer une page web. Elle sert par exemple à éviter que les parties d'un site que vous souhaitez garder secrètes ou privées, telle que la zone d'administration, ne se retrouvent dans les moteurs de recherche. Et elle fait même un peu plus que ça...
Cette balise est à placer dans la partie <head> de chaque page.
Syntaxe
<meta name="robots" content="index,follow" />
"index" indique aux robots qu'ils sont autorisés à indexer la page. "follow" leur indique qu'ils peuvent suivre les liens présents sur la page. "index,follow" est la valeur par défaut de cette balise. Si elle est omise, les robots indexeront la page et suivront les liens.
<meta name="robots" content="noindex,follow" />
"noindex" interdit aux robots d'indexer la page. "follow" leur indique qu'ils peuvent en revanche suivre les liens. Pratique pour ne pas vous faire repérer si vous faites un google bombing.
<meta name="robots" content="index,nofollow" />
"index" permet aux robots d'indexer la page. "nofollow" leur interdit de suivre les liens.
<meta name="robots" content="noindex,nofollow" />
"noindex" interdit aux robots d'indexer la page. "nofollow" leur interdit de suivre les liens.
Interdire la mise en cache
<meta name="robots" content="index,follow, noarchive" />
"noarchive" est un paramètre optionnel qui interdit aux moteurs de recherche de montrer la copie de la page archivée dans leurs caches. Cette configuration est indispensable si vous pratiquez le cloaking. A défaut tout le monde pourra voir votre cloaking... et vous risquez d'être dénoncé aux moteurs de recherche par un "spam report" d'un concurrent jaloux de votre positionnement.
Balises spécifiques à chaque moteur
La balise meta robots est respectée par les principaux robots. Si vous souhaitez guider les robots de différentes façons dans votre site, utilisez les balises spécifiques.
<meta name="googlebot" content="index,follow" />
Cette balise s'adresse au robot de Google.
<meta name="msnbot" content="index,follow" />
Cette balise s'adresse au robot de MSN.
Les 5 dernières visites des robots sur cette page:
| GoogleBot | Yahoo! Slurp | MSNBot |
|---|---|---|
| 18/08/2008 10:24 | 20/08/2008 13:45 | 20/08/2008 16:45 |
| 13/08/2008 00:56 | 19/08/2008 03:01 | 18/08/2008 15:11 |
| 09/08/2008 02:35 | 18/08/2008 01:39 | 16/08/2008 12:00 |
| 29/07/2008 19:31 | 16/08/2008 19:49 | 14/08/2008 08:51 |
| 25/07/2008 11:01 | 15/08/2008 19:46 | 12/08/2008 06:08 |
Informations sur le visiteur en cours:
Date & heure: 21/08/2008 02:48
User-agent: CCBot/1.0 (+http://www.commoncrawl.org/bot.html)
Hôte: 38.103.63.61
A quoi servent ces informations?
Adresse IP: 38.103.63.61
globalwarming awareness2007