Accueil > > > [CRON] INSERT ON DUPLICATE KEY UPDATE
[CRON] INSERT ON DUPLICATE KEY UPDATE
Information sur la source
Description
Un CRON journalier doit mettre à jour plus de 100000 enregistrements sur une table MYSQL (vous pourriez adapter cela à votre SGBD).
D'un côté, faire un gros delete puis un insert multiple décalait chaque jour les index de la table, laissant des gros trous.
D'un autre, modifier chaque enregistrement prenait beaucoup de temps et de ressources serveur.
D'où cette idée de segmenter une requête grâce à la fonction "VALUES" disponible depuis Mysql 4.1.1 dans un INSERT ON DUPLICATE KEY UPDATE. Par exemple :
INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6)
ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);
Source
- <?php
- interface Mode {
- const PROD = 0;
- const DEV = 1;
- const DEBUG_ONE = 2;
- const DEBUG_ALL = 3;
- }
- class SegmenterRequete {
-
- private $debut;
- private $fin;
-
- private $requete;
- private $n;
-
- public $separateur = ', ';
- public $guillemet = "'";
- public $mode = Mode::PROD;
- public $pause = 2;
- public $max = 200;
-
-
- public function __construct($debut, $fin){
- $this->debut = $debut;
- $this->fin = $fin;
-
- $this->initialiser_requete();
- }
- public function __destruct(){
- // si les enregistrements n'ont pas tous ete faits
- if (0 < $this->n) {
- // nettoyer la requete : supprimer son dernier separateur
- $this->requete = substr($this->requete, 0, -strlen($this->separateur));
- $this->executer();
- }
- }
- private function initialiser_requete(){
- // ecrire une nouvelle requete
- $this->requete = $this->debut;
- $this->n = 0;
- }
- private function executer(){
- $this->requete .= $this->fin;
- switch ($this->mode) {
- case Mode::PROD:
- mysql_query($this->requete);
- sleep($this->pause);
- break;
- case Mode::DEV:
- mysql_query($this->requete);
- // pas de break, on "passe" au cas suivant
- case Mode::DEBUG_ONE:
- die($this->requete);
- break;
- case Mode::DEBUG_ALL:
- print($this->requete) . "\n<br/>";
- break;
- }
- }
-
- public function ajouter(){
- return $this->ajouter_tableau(func_get_args());
- }
- public function ajouter_tableau($data){
- $data = array_map('mysql_real_escape_string', $data);
- $chaine = '(' . $this->guillemet . implode($this->guillemet . ', ' . $this->guillemet, $data) .
-
- $this->guillemet . ')';
- return $this->concatener($chaine);
- }
- public function concatener($ch){
- $this->requete .= $ch;
- if (++$this->n < $this->max) {
- $this->requete .= $this->separateur;
- }
- else {
- $this->executer();
- $this->initialiser_requete();
- }
- return $this;
- }
- }
- /** un exemple fictif
-
- $Q = new SegmenterRequete('INSERT INTO T (pop, top) VALUES ', ' ON DUPLICATE KEY UPDATE SET pop = VALUES(pop);');
- $Q->mode = Mode::DEBUG_ALL;
- $Q->max = 2;
-
- $Q->ajouter('lol', 'mom');
- $Q->ajouter('lol', 'mom');
- $Q->concatener("('lol','')");
- */
<?php
interface Mode {
const PROD = 0;
const DEV = 1;
const DEBUG_ONE = 2;
const DEBUG_ALL = 3;
}
class SegmenterRequete {
private $debut;
private $fin;
private $requete;
private $n;
public $separateur = ', ';
public $guillemet = "'";
public $mode = Mode::PROD;
public $pause = 2;
public $max = 200;
public function __construct($debut, $fin){
$this->debut = $debut;
$this->fin = $fin;
$this->initialiser_requete();
}
public function __destruct(){
// si les enregistrements n'ont pas tous ete faits
if (0 < $this->n) {
// nettoyer la requete : supprimer son dernier separateur
$this->requete = substr($this->requete, 0, -strlen($this->separateur));
$this->executer();
}
}
private function initialiser_requete(){
// ecrire une nouvelle requete
$this->requete = $this->debut;
$this->n = 0;
}
private function executer(){
$this->requete .= $this->fin;
switch ($this->mode) {
case Mode::PROD:
mysql_query($this->requete);
sleep($this->pause);
break;
case Mode::DEV:
mysql_query($this->requete);
// pas de break, on "passe" au cas suivant
case Mode::DEBUG_ONE:
die($this->requete);
break;
case Mode::DEBUG_ALL:
print($this->requete) . "\n<br/>";
break;
}
}
public function ajouter(){
return $this->ajouter_tableau(func_get_args());
}
public function ajouter_tableau($data){
$data = array_map('mysql_real_escape_string', $data);
$chaine = '(' . $this->guillemet . implode($this->guillemet . ', ' . $this->guillemet, $data) .
$this->guillemet . ')';
return $this->concatener($chaine);
}
public function concatener($ch){
$this->requete .= $ch;
if (++$this->n < $this->max) {
$this->requete .= $this->separateur;
}
else {
$this->executer();
$this->initialiser_requete();
}
return $this;
}
}
/** un exemple fictif
$Q = new SegmenterRequete('INSERT INTO T (pop, top) VALUES ', ' ON DUPLICATE KEY UPDATE SET pop = VALUES(pop);');
$Q->mode = Mode::DEBUG_ALL;
$Q->max = 2;
$Q->ajouter('lol', 'mom');
$Q->ajouter('lol', 'mom');
$Q->concatener("('lol','')");
*/
Conclusion
/!\ AVERTISSEMENT : ce code n'est pas testé (celui utilisé en prod est différent et un peu plus archaïque je crois).
Bien qu'étant destiné en priorité à un cron - où les valeurs en entrée sont contrôlées, s'il y a une faille, ce serait sympa de le dire.
Il s'agit d'un code d'initié, plus en fonction de son usage que de sa complexité intrinsèque.
Historique
- 15 octobre 2011 11:20:07 :
- Je corrige une erreur :
array_map('mysql_real_escape_string', $data); devient
$data = array_map('mysql_real_escape_string', $data);
Sources du même auteur
Sources de la même categorie
Commentaires et avis
Discussions en rapport avec ce code source dans le forum
insert multiple de checkbox dans column de table mysql [ par lassad_haddaji ]
je cherche des solutions
insert multiple de checkbox dans column de table mysql [ par lassad_haddaji ]
salut tt le monde, mon probleme est que je veux inserer des champs de checkbox dans une seule solumn de tabe mysql1)fichier formulaire.html<form ac
mysql_insert_id [ par algantilla ]
bonsoir à tous! en fait j'aimerai bien savoir comment afficher la valeur retournée par mysql_insert_id dans une zone de texte?? encore une petite ques
INSERT INTO OU BIEN ..? [ par marouanemarouane ]
Bonsoir, j'ai besoin d'un petit aide s'il vous plait, quand j'execute cette requete il ne m'ajoute pas le lien dans mon espace membre, j'ai utilisé WH
eviter le cron [ par emiliejolie04 ]
Bonjour, J'aimerais trouver une solution pour pouvoir faire une action vu que je ne peux pas utiliser le cron (hebergement mutualisé ne le permettant
formualire [ par allia007 ]
j'essay de récupérer des information apartir d'un formulaire et l'insséré dans la table.voici le code j utilisé la requete INSERT mais sa ne marche p
mysql_insert_id [ par mickadevelop ]
Bonjour,j'ai une question concernant la fonction mysql_insert_id() dans le cadre d'un fonctionnement multi utilisateur n'y as t'il pas de risque de ré
Formulaire à enregistrement multiple [ par baldy ]
BonjourJe suis actuellement en train de reprendre un code existant. Il s'agit d'un formulaire sensé référencer les revendeurs d'une entreprise. Il fon
Insert into avec une seule valeur [ par azqsazqs ]
Bonjour,je me pose une question depuis un certain temps, peut-on créer une entrée à partir d'une seule valeur:INSERT INTO clients ('nom_c') VALUES ('$
Solution d'upload multiple NAS Uploader [ par caviar ]
Salut à tous, je voulais vous présenter la solution d'upload multiple en flash php que j'ai mise au point ... totalement open source et gratuite :) ça
|
Derniers Blogs
IMAGINE CUP 2012, MAKE A SIGN EN FINALEIMAGINE CUP 2012, MAKE A SIGN EN FINALE par junarnoalg
Voilà qui est fait, la nouvelle est officielle ! L'équipe belge "Make a Sign" va au pays des kangourous défendre son projet dans la catégorie Software Design. http://www.imaginecup.com/CompetitionsContent/Competition/WorldwideFinalists.aspx V...
Cliquez pour lire la suite de l'article par junarnoalg KINECT 1.5 IS OUT !KINECT 1.5 IS OUT ! par Vko
La version 1.5 du Kinect For Microsoft vient tout juste de sortir ! Plein de nouveautés: Tracking de squelette en Near Mode Détection en position assise Détection faciale avec un SDK dédié Documentation et des guideline (enfin) Un out...
Cliquez pour lire la suite de l'article par Vko LES ACTUALITéS DE LA SEMAINE SUR C2I.FR (14 MAI - 20 MAI) LES ACTUALITéS DE LA SEMAINE SUR C2I.FR (14 MAI - 20 MAI) par richardc
Mise à jour des Web API du 14 Mai
Réservez dès maintenant votre journée du 20 juin pour le Windows Azure Dev Camp 2012 à Paris
Mise à jour de Team Foundation Service
MechCommander 2 sur Windows 8
Entity Framework 5 Release Candidate e...
Cliquez pour lire la suite de l'article par richardc REACTIVE EXTENSIONS : CONSOMMER DES SERVICES AVEC RX PARTIE 3, LES PIèGES à éVITERREACTIVE EXTENSIONS : CONSOMMER DES SERVICES AVEC RX PARTIE 3, LES PIèGES à éVITER par Groc
Une mauvaise utilisation de rx lors de l'écriture d'une couche d'accès à des services peut conduire à des cas embarassants avec des erreurs mal gérées, des appels qui ne partent lorsqu'ils le devraient, et même des résultats incorrects . le tout nuis...
Cliquez pour lire la suite de l'article par Groc SHAREPOINT BLOG SITE, PROBLèME D'ARCHIVESSHAREPOINT BLOG SITE, PROBLèME D'ARCHIVES par junarnoalg
Dernièrement, nous avons migré le site
myTIC
vers un nouveau serveur SharePoint 2010. Dans les contenus que nous vouloins récupérer, nous avions un certain nombre de blogs.
Nous avons utilisé les commandes Power...
Cliquez pour lire la suite de l'article par junarnoalg
Logiciels
sDEVIS-FACTURES vlPRO (8.1.0.3)SDEVIS-FACTURES VLPRO (8.1.0.3)sDEVIS-FACTURES vlPRO a été mis au point pour les particuliers, créateurs, entrepreneurs, artisa... Cliquez pour télécharger sDEVIS-FACTURES vlPRO 974 Application Server (12.2.4.6)974 APPLICATION SERVER (12.2.4.6)Développez de puissantes applications dans un environnement de 'cloud computing', clusterisé, séc... Cliquez pour télécharger 974 Application Server vPicture (1.4.2.1)VPICTURE (1.4.2.1)Avec vPicture, hébergez vos images facilement et rapidement.
vPicture est un utilitaire simple, ... Cliquez pour télécharger vPicture Easy-Planning (2.2.1.6)EASY-PLANNING (2.2.1.6)Easy-Planning permet de créer des plannings sous la représentation de diagrammes et est adapté au... Cliquez pour télécharger Easy-Planning COM-BACKUP (2.0)COM-BACKUP (2.0)
COM-BACKUP est un logiciel de sauvegarde qui permet de planifier les sauvegardes de vos dossiers ...
Cliquez pour télécharger COM-BACKUP
|