LOG DES ROBOTS QUI PASSENT SUR LE SITE

Commentaire de _sHoCk_ le 07/07/2007 08:14:23

Je ne l'ai pas encore testé, mais c'est un bon astuce. gg ^^

Commentaire de Optitech le 08/07/2007 11:20:36

code propre et commenté ! Actuce original mais qui devrait fonctionner sur la majorité des serveurs :)

Il me reste juste une chose à dire :

BRAVO :)

Commentaire de poulpix_fr le 09/07/2007 13:12:13

Bonjour ton petit code est pas mal,

Je les adapter a mon site avec deux petit modif pour moi :

$log = $i.' | '.$d.' | '.$h.' | '.$u."\r\n";

Jais rajouter \r  car sinon sa ne retourner pas a la ligne cher moi.

Pui j’ais inclus mon fichier  robots.txt en le renomment en bot.txt :

$file = fopen("bot.txt","r");
while(!feof($file))    
{
     $buffer = fgets($file, 4096);
     echo $buffer."<br />";
}
fclose($file);

voila sa marche nikel pour le moment mci

Commentaire de masternico le 10/07/2007 20:39:39

Ca c'est une idée qu'elle est bonne
je donne 10/10

Commentaire de DarkM60 le 15/07/2007 16:26:57

Je trouve la solution de créer un répertoire un peu "système D", avec une règle d'url rewriting ça marcherait tout aussi bien, et en placant ton fichier php ou tu veux sur ton site...

Il suffirait juste de créer un .htaccess à la racine, contenant ceci :

Options +FollowSymlinks
RewriteEngine on
RewriteRule ^robots.txt$  /tonfichier.php [L]

Et c'est bon, et encore plus invisible, car ta méthode, un robot un peu plus avancé peut la détecter, or de l'url rewriting, c'est côté serveur.

Commentaire de etiennexxx9 le 17/07/2007 05:14:52

@poulpix_fr => Une bonne idée si tu veux séparer le fichier robots.txt du script

@Chrigou => :O

@DarkM60 => J'y avais pensé au début, mais je ne suis pas très habitué à l'url rewriting.
            "un robot un peu plus avancé peut la détecter" => Les robots les plus connus ne le font pas...

@JLN => L'url rewriting permet lors d'une requête au serveur de modifier le fichier qui sera envoyé au client.

@tous => Merci :)

Etienne

Commentaire de Optitech le 17/07/2007 14:00:29

Les symboles ^ et $ servent pour l'expression régulière :) Et le [L] signifie : ouvrire le fichier tonfichier.
phpl en ne laissant "rien" dans l'url :)

Pour en savoir plus sur les Rewrite URL : http://www.google.fr/

Commentaire de Optitech le 17/07/2007 16:51:07

CodeSource sert à ca s'aider :)

Commentaire de VVV le 24/07/2007 12:02:29

Léger, astucieux et utile... j'adore : 10/10 !

Commentaire de etiennexxx9 le 03/12/2007 06:13:36

En fait, il te suffit de changer les lignes suivantes dans index.php:
echo 'User-Agent: *'."\n";
echo 'Disallow: ';

Par:
readfile('robots.txt');

Puis de mettre ton fichier robots.txt actuel dans le dossier nommé robots.txt

Si le readfile ne fonctionne pas, essaie avec la technique de poulpix_fr.

Etienne

Commentaire de masternico le 04/12/2007 18:10:28

Et pourquoi ne pas faire un simple "include('robot.txt')"?

Commentaire de PlayerMania le 29/12/2007 05:24:03

Et bah... fallait y penser à celle la...
Super idée etiennexxx9 !

Commentaire de VVV le 11/11/2008 19:50:17

Tout est dans le titre en fait : logguer les robots qui défilent sur ton site.
En d'autre termes, obtenir un détail des robots qui passent pour auditer le site web, comme Google bot, Yahoo, mais aussi d'autres bien moins connus !
Ceci dit, tous les robots ne recherchent pas ce fameux fichier robots.txt sur le site qu'ils auditent. Donc, il est aussi utile d'auditer certaines pages clés (index bien sûr) avec un autre système.
Je trouve cette source utile et l'astuce très bien pensée... mais je me répète ;-)

Commentaire de VVV le 11/11/2008 20:07:14

Oui, simplement le placer absolument à la racine de ton site web (nulle part ailleurs).
En fait, il suffit de procéder comme ceci :
1. créer un nouveau dossier
2. le renommer en "robots.txt"
3. d'y placer les fichiers de la source !

And... that's all folks ;-)