Bonjour,
J'ai une question concernant le fichier robots.txt, qui permet d'indiquer au bots des moteurs de recherche quelles urls ignorer... En fait j'aimerai comprendre comment fonctionnent ces bots, exemple :
J'ai un répertoire dans mon serveur, "includes", ce répertoire contient que des fichiers PHP, lu uniquement en local, non lisible à partir d'une url externe donc. Est ce une bonne idée d'ajouter dans le fichier robots.txt : Disallow: /includes/ ? alors que dans mon site, aucun lien externe ne pointe vers ces fichiers... J'aimerai donc savoir, si les bots obtiennent la liste de fichier uniquement en analysant la partie publique du site (et donc ne tomberont jamais sur ce répertoire include car aucun lien externe ne pointe vers ce répertoire), ou si les bots ont la possibilité d'obtenir la liste autrement (par exemple avec une liaison directe avec l'hébergeur ? )
ça parait assez inutile comme question, mais c'était surtout pour comprendre comment marche ce fichier.
Merci d'avance :)