La balise meta robots
La balise meta robots permet d'autoriser ou d'interdire aux robots d'indexer une page web. Elle sert par exemple à éviter que les parties d'un site que vous souhaitez garder secrètes ou privées, telle que la zone d'administration, ne se retrouvent dans les moteurs de recherche. Et elle fait même un peu plus que ça...
Cette balise est à placer dans la partie <head> de chaque page.
Syntaxe
<meta name="robots" content="index,follow" />
"index" indique aux robots qu'ils sont autorisés à indexer la page. "follow" leur indique qu'ils peuvent suivre les liens présents sur la page. "index,follow" est la valeur par défaut de cette balise. Si elle est omise, les robots indexeront la page et suivront les liens.
<meta name="robots" content="noindex,follow" />
"noindex" interdit aux robots d'indexer la page. "follow" leur indique qu'ils peuvent en revanche suivre les liens. Pratique pour ne pas vous faire repérer si vous faites un google bombing.
<meta name="robots" content="index,nofollow" />
"index" permet aux robots d'indexer la page. "nofollow" leur interdit de suivre les liens.
<meta name="robots" content="noindex,nofollow" />
"noindex" interdit aux robots d'indexer la page. "nofollow" leur interdit de suivre les liens.
Interdire la mise en cache
<meta name="robots" content="index,follow, noarchive" />
"noarchive" est un paramètre optionnel qui interdit aux moteurs de recherche de montrer la copie de la page archivée dans leurs caches. Cette configuration est indispensable si vous pratiquez le cloaking. A défaut tout le monde pourra voir votre cloaking... et vous risquez d'être dénoncé aux moteurs de recherche par un "spam report" d'un concurrent jaloux de votre positionnement.
Balises spécifiques à chaque moteur
La balise meta robots est respectée par les principaux robots. Si vous souhaitez guider les robots de différentes façons dans votre site, utilisez les balises spécifiques.
<meta name="googlebot" content="index,follow" />
Cette balise s'adresse au robot de Google.
<meta name="msnbot" content="index,follow" />
Cette balise s'adresse au robot de MSN.
Les 5 dernières visites des robots sur cette page:
| GoogleBot | Yahoo! Slurp | MSNBot |
|---|---|---|
| 03/07/2009 00:05 | 29/06/2009 00:56 | 01/07/2009 07:18 |
| 02/07/2009 04:57 | 27/06/2009 12:58 | 28/06/2009 17:00 |
| 01/07/2009 20:33 | 25/06/2009 02:07 | 25/06/2009 04:46 |
| 29/06/2009 08:41 | 22/06/2009 22:19 | 21/06/2009 20:09 |
| 26/06/2009 23:42 | 21/06/2009 07:19 | 20/06/2009 01:02 |
Informations sur le visiteur en cours:
Date & heure: 03/07/2009 20:36
User-agent: CCBot/1.0 (+http://www.commoncrawl.org/bot.html)
Hôte: 38.103.63.58
A quoi servent ces informations?
Adresse IP: 38.103.63.58
globalwarming awareness2007