Les Robots
Les robots, également appelés bots, crawlers ou spiders sont des programmes qui parcourent le web en suivant les liens hypertextes. Leur mission est de collecter les informations qui serviront à alimenter les index des moteurs de recherche.
GoogleBot, Slurp et MSNBot sont les robots les plus célèbres et les plus convoités, puisqu'ils travaillent pour les trois principaux moteurs de recherche: respectivement Google, Yahoo! et MSN.
Dans sa quête du positionnement optimal de ses sites web, le webmaster-référenceur sera obligatoirement ammené à s'intéresser aux robots pour:
- Leur interdire d'indexer certaines parties de ses sites qu'il souhaite garder secrètes ou privées, telles que les zones d'administration.
- Détecter leurs passages sur ses sites.
- Pratiquer le cloaking en leur présentant des pages spécifiques optimisées pour le référencement.
Ces différentes techniques sont détaillées dans plusieurs articles publiés sur ce site.
Les 5 dernières visites des robots sur cette page:
| GoogleBot | Yahoo! Slurp | MSNBot |
|---|---|---|
| 20/07/2008 17:26 | 24/07/2008 03:35 | 24/07/2008 08:17 |
| 15/07/2008 06:16 | 24/07/2008 02:17 | 22/07/2008 05:03 |
| 11/07/2008 16:05 | 23/07/2008 02:12 | 20/07/2008 02:57 |
| 04/07/2008 03:07 | 22/07/2008 01:59 | 18/07/2008 22:51 |
| 30/06/2008 12:12 | 20/07/2008 14:37 | 18/07/2008 16:22 |
Informations sur le visiteur en cours:
Date & heure: 24/07/2008 09:37
User-agent: CCBot/1.0 (+http://www.commoncrawl.org/bot.html)
Hôte: 38.103.63.16
A quoi servent ces informations?
Adresse IP: 38.103.63.16
globalwarming awareness2007