Moteur de recherche à l'échelle du web

Depuis hier, je me demande comment créer une sorte de google-like.
Déja, je me suis interessé sur la méthode à utiliser, celle qui m'est restée en tête est la suivante:
1. l'admin du moteur entre une adresse internet
2. un script va sur ce site
3. il range quelque part le contenu du site
4. il cherche toutes les balises <a> renvoyant vers un lien absolu
5. il note les liens trouvés dans une bdd
6. il recommence l'opération mais sur les nouveaux sites qu'il connait
...

Mais voila, des questions me tracassent:
1. la mise en cache du contenu de milliers de site, ça doit peser lourd
2. comment localiser des balises <a> sur une page web (je pense qu'il s'agit d'un outil dérivé de fopen

J'essaye donc actuellement de créer un moteur de recherche, et maintenant, je doite sérieusement d'avoir pioché la bonne méthode...
Vous pouvez m'éclairer?

P.S: Je précise, j'ai déja pensé à l'idée d'un moteur s'appuyant sur les grands du web (google, yahoo, lycos...).
J'essaye plutôt de chercher une méthode plus indépendante.

Merci à vous, vos réponses vont sûrement m'aider beaucoup, je me lance dans cette grande aventure...