begin process at 2010 02 09 17:19:37
  Trouver un code source :
 
dans
 
Accueil > Forum > 

Archive PHP

 > 

Archives

 > 

AU SECOURS !!!

 > 

Création d'un robot (spider)


Derniers messages déposésPoser une question dans le forum ou lancer une discussion

Création d'un robot (spider)

dimanche 3 juillet 2005 à 06:18:07 | Création d'un robot (spider)

majestik89

Bonjour !

Voilà je recherche le moyen de créer un robots pour un moteur de recherche mais je n'ai pas de base pour commencer !

Est-ce que quelqu'un pourrai m'aider en m'aiguillant sur une piste ou un site ?

Merci d'avance

dimanche 3 juillet 2005 à 07:21:45 | Re : Création d'un robot (spider)

samueldr

héhé, si tu veux un moteur de recherche pour ton site, cherche un peu sur la toile, et p-e ici. un spider n'est pas nécessaire, juste un petit indexeur de rien du tout.
Si tu veux faire tous les sites de la toile, attache ta tuque, il te faut pas du PHP, il te faut plutot un autre langage de prog, comme python, utilisé par google.

En esperant t'avoir été un peu utile.


www.samueldr.com

dimanche 3 juillet 2005 à 07:46:04 | Re : Création d'un robot (spider)

majestik89

Ok mais oui c'est un moteur web donc... mais j'ai pensé au PHP car c'est un language que j'utilise beaucoup c'est pour ca
dimanche 3 juillet 2005 à 09:18:37 | Re : Création d'un robot (spider)

Anthomicro

Salut,

tu comptes le faire en local j'espère ton bot ?


    dimanche 3 juillet 2005 à 09:27:59 | Re : Création d'un robot (spider)

    majestik89

    Oui afin de ne pas manger trop de ressource à mon hébergeur
    dimanche 3 juillet 2005 à 09:29:59 | Re : Création d'un robot (spider)

    Anthomicro

    ok, mais la future base d'adressses de sites, etc... Qui va forcément être énorme, que comptes-tu en faire ?


      dimanche 3 juillet 2005 à 09:31:19 | Re : Création d'un robot (spider)

      majestik89

      ben là se pose le problème justement, on ma conseillé un data-warehouse mais je ne compte pas enregistré le Web entier ! lol
      dimanche 3 juillet 2005 à 09:43:29 | Re : Création d'un robot (spider)

      Anthomicro

      De toute façon il faut passer par un fsockopen() récursif, pour chaque URL il faut vérifier si elle figure dans ta base avant et si oui, depuis combien de temps afin ou non de la mettre à jour.

      Tu vas générer une quantité affolante de requêtes :-(


        dimanche 3 juillet 2005 à 09:45:23 | Re : Création d'un robot (spider)

        majestik89

        Rien n'est encore réaliser mais ce n'est pas en continuant à faire des livre d'or, espace membre et autre que je vais réussir à évoluer ! Il est vrai que c'est un sacrée défi mais pourquoi pas ?
        dimanche 3 juillet 2005 à 09:47:55 | Re : Création d'un robot (spider)

        Anthomicro

        pourquoi pas en effet.

        Bref regarde du côté de la fonction fsockopen() pour chopper le code source des pages, du côté des expressions régulières (www.expreg.com) pour chopper les URL contenues dans le code source, ensuite une fonction récursive et hop. Pense à optimiser la structure de ta base au mieux car ça va vite ramer dans le cas contraire.

        a +



          1 2 3

          Cette discussion est classée dans : recherche, création, spider, robot


          Répondre à ce message

          Sujets en rapport avec ce message

          recherche personne pour création [ par pjh ] bjr , j'aimerai rentrer en contact avec quelqu'un pour créer une zone jeux (membres plus jeux) pour un portail, en contrepartie je reverse à la person Recrutement pour création d'un moteur de recherche [ par juki_webmaster ] Bonjour .Je travaille en parallele sur la création d'un moteur de recherche pour www.invitia.comSi ya klk1 ou klk personnes qui voudrais m'aider à con Création d'un moteur de recherche [ par silvia12 ] Bonjours,JE cherche a créer un moteur de recherche.J'ai trouvé plein de truc intéréssant, mais le probléme, c'est que mon site n'as aucune base de don création d'un moteur de recherche spécifique [ par zemappeur ] Salut a tous je suis actuellement en train de modifier tout mon site web et j'aimerai créer un moteur de recherche permettant de trouver dans un base Recherche un script de création de dossier [ par manusoron ] Bonjour. Je recherche un script en PHP, qui est composé d'un champs et que lorse que qelq'un ecrit un nom, un dossier dans le FTP est imédiatement cré Robot de recherche automatique PHP [ par ravendago ] Je souhaite créer un robot Internet destiné à  extraire des données d'un moteur de recherche(site distant).Le problème est:Il ya une base de données d Aide pour création scripts [ par ricfred ] Bonjour,J'ai un ami qui veut bien m'aider à créer mon site internet. Quelqu'un pourrait'il nous donner un coup de main sur un truc car la, ont sèchent Création de moteur de recherche. [ par developvbdebut ] Bonjour tout le mondeVoici mon problème, je souhaite créer un moteur de recherche de données, et que j'ai une erreur de Voici mon code. <FORM N questions a propos création site [ par undead83 ] Bonjour,be voila on me demande souvent les memes choses quant a la création d'1 site


          Nos sponsors


          Sondage...

          CalendriCode

          Février 2010
          LMMJVSD
          1234567
          891011121314
          15161718192021
          22232425262728

          Consulter la suite du CalendriCode

           
          Développement réalisé par Nicolas SOREL (Nix) avec l'aide de : Cyril DURAND et Emmanuel (EBArtSoft), Merci à Vincent pour ses précieux conseils.
          CodeS-SourceS.com© Toute reproduction même partielle est interdite sauf accord écrit du Webmaster
          CodeS-SourceS.com© est une marque déposée tous droits réservés

          Google Coop CodeS-SourceS Google Coop CodeS-SourceS
          Temps d'éxécution de la page : 0,218 sec (4)

          Nous contacter | Annoncer sur CodeS-SourceS | Mentions légales