Bonjour tout le monde,
je suis à la recherche d'idées pour traiter un flux important de données, provenant de serveurs. Je m'explique. Je suis en stage, et il y a différents programmes écrits en PERL (que je devrais optimiser par la suite), qui récupèrent des informations provenant de différents serveurs et les envoient à un collecteur. Le problème se situe au niveau de ce collecteur. A l'heure actuel, le collecteur écrit les informations dans une pile de type FIFO, donc les premières qui rentrent seront les premières à être traiter en sortie.
Le problème est qu'il y a saturation au niveau de cette pile. Je cherche donc des idées pour améliorer le fonctionnement de cette pile. J'avais penser écrire les informations à traiter dans une base MySQL, ce qui m'aurait permis de traiter les infos identiques en les regroupant.
Si vous avez des idées ou des pistes, n'hésitez pas.
Merci d'avance.