Safia

salut a tous,
je voudrais creer un moteur de recherche en php et pour cela je dois faire en sorte
k'il accede au fichier robots.txt s'il existe, avant de faire koi ke ce soit.
Mon probleme est ke je voudrais parser les fichiers robots.txt de chake site ke je veux visiter.
(tout cela en php .)
je vous remercie d'avance.
