forum

rêve de Mélu

 

@cartes

partenaires

 

annuaires

coups 2 Y

 

accueil

Flash Player

image

@cartes
images
textures
fonds d'écran
gifs
applets
image mobile
texte 3D
tutoriel globe
capture truc
capt. streaming
codes couleurs
telecharger

distraction

puzzles
puzzles
à télécharger
jeux de mots
jeux flash
sudoku

contenu  pour site

citations

web pratique

recettes
ALCOOTEST
import. tabac
calendrier 2010
payer en ligne
ptites annonces
secourisme
SOS  écoute
Itineraire
Horoscope
Numéros Utiles
Annuaires tel
Ann. inverse
Tel invisible
Carte de tel
Traducteur
citations
Programme télé
météo

poésie

rêver
avec Mélusine

sponsors

 

 

Sans titre

Le fichier robot.txt

si vous en avez déjà un

Outils proposés par Yooda.com
Votre site:

 

 

qu'est-ce que le fichier robot.txt ?

 


Il faut d'abord expliquer comment fonctionnent les robots d'indexation de sites (scrawlers):

Les moteurs qui ont connaissance de l'existance de votre site, soit par un lien rencontré sur u autre site, ou parceque vous avez demandé ou fait votre inscription sur le moteur, ces moteurs donc, viennent visiter votre site et indexent la page principale.
Certains moteurs vont aussi enregistrer le reste des pages, mais seuls quelques "gros" moteurs ont cette capacité et la rapidité pour le faire.

En général, (comme vu sur la page de référencement), vous avez posé des métatag en entête de votre site, qui vont donner les principaux mots clé de votre site, et des indications comme le nombre de fois que le moteur doit (ou peut) revenir indexer.
note: le passage des moteurs est consomateur de bande passante, qu'on se le dise quand on est limité. Donc, il faut estimer au mieux le nombre de apssage en fonction des changements prévisibles sur votre site.
Vous pouvez avoir indiqué comment les robots doivent indexer vos pages:
 <META NAME="ROBOTS" CONTENT="FOLLOW">
 mais attention au poids que cela représente si vous devez mettre cette entête à chaque page.

C'est pourquoi on a recours au fichier robot.txt

 

"aider" les robots

 

à indexer de façon efficace et comment leur demander de ne pas indexer certaines pages (confidentielles, perso, protégées, des parties de pages comme des frames par exemple(mieux vaut avoir la page en entier non ?), ou autres), comment on peut leur demander de suivre les liens ...

Le fichier robot.txt est un fichier texte qui se place à la racine du site.
il s'écrit de la manière suivante:

# robots.txt pour le site http://www.topmelusine.com
User-agent: *
Disallow: /prive/

# indique que ce qui suit est un commentaire et ne sera pas lu par le robot
user-agent: le * indique que vous acceptez tous les moteurs
pour ne pas accepter un moteur, écrire:
User-agent: NomDuRobot
(il pourra être utile de n'en accepter que certains ou d'en désavouer d'autres, comme les aspirateurs de site qui fonctionnent comme des indexeurs)

les "bons robots" les plus connus

Nom du RobotMoteur de Recherche
correspondant
Googlebot Google.com 
TeomaAgent Teoma.com 
Zyborg Wisenut.com 
Architext spider Excite.com 
FAST-WebCrawler FAST (AllTheWeb.com) 
Slurp Inktomi.com 
Ask Jeeves AskJeeves.com
ia_archiver Alexa.com
Scooter AltaVista.com 
Mercator AltaVista.com
crawler@fast  FAST (AllTheWeb.com)
Crawler Crawler.de 
InfoSeek sidewinder InfoSeek.com 
Lycos_Spider_(T-Rex) Lycos.com 
MantraAgent LookSmart.com
Moget Goo.jp
WebCrawler Webcrawler.com

 

Dans le cas des sites avec des frames,
le fichier robots.txt sera :
# robots.txt pour ce site http://www.chez-vous.com
User-agent: *
Disallow: /frames/

En résumé, si vous êtes limité en bande passante ou si vous avez des parties de site que vous ne désirez pas indexer, si vous vous méfiez des aspirateurs de sites et des espions, il peut être bénéfique d'installer un fichier robot.txt à la racine de votre site.

toute la documentation sur le site www.robotstxt.org

l'ordinateur

l'ordinateur

sécurité
precautions
anti virus
astuces
actualité
occasions

webmasters

Booste le trafic de ton site avec BoosterSite.com !

faire son site
des trucs
des visiteurs
réferencement
robot.txt
le PageRank
hébergeur
redirection
quel domaine
rentabiliser
contenu
antiVOL
€ paiements $


 

generateurs

metatags
rollover
pop up
texte 3D

les boutiques

Dell ordinateur

 


mobile

truc C350
sonnerie
image
logos

consommateur

associations

 cont@ct

 

 

MAILING LIST:

Votre E-Mail :
inscription
désinscription

Gestionnaire de Mailing-List/Newsletter (PG-MailingList v3.0) disponible sur
Perl-Gratuit.com


 


 

Référencé par I3W

Référencement gratuit de votre site sur GOOGLE et sur + de 100 moteurs de recherches

 

design et contenu copyright © topmelusine.com 2005