SAUVEGARDE AUTOMATISÉE DE VOS BASES DE DONNÉES

Commentaire de webdeb le 03/01/2008 01:47:26

Salut,

J'aurais fait beaucoup plus simple :

<?php

shell_exec('mysqldump -h monServeurSql -u monUser -p monPassword --all-databases > chemin/mon/backup.sql');

?>

++

Commentaire de malik7934 le 03/01/2008 07:55:01

et si je peux encore ajouter quelque chose: ma source ne se borne pas à faire un mysqldump (--all-databases est d'ailleur une mauvaise idée :-)). Elle dump séparément les bases, crée un zip avec autant de fichiers à l'intérieur qu'il y a de bases, envoit le tout par ftp dans un répertoire protégé sur un autre serveur et envoit un email pour dire que tout s'est bien passé (ou non) avec le zip en fichier joint si demandé... le tout avec un petit appel en cron.

Ta commande shell est donc un chouilla réductrice ;-)

Commentaire de jantosze le 03/01/2008 10:58:39

Salut,

L'objectif de ton code est de manipuler des volumes importants de données j'ai 2 remarques:
- Structurer ton test d'échec fopen du $handle avant les 3 boucles while d'extraction de la base ,
-  Ne serait-il pas judicieux de vider la variable $sql_export (par exemple en fin du while $s5)  pour éviter en cas de volume important un overflow de la limite mémoire accorder par l'administrateur du serveur.

cdt
JAN.

Commentaire de jantosze le 03/01/2008 16:42:07

Pour la rem 2 , il s'agit de traiter un dysfonctionnement risquant d'apparaître lors d'un transfert important, car les Ing Syst pour gérer les machines utilisent des règles de quotas: cpu, mémoire, io.... et comme au niveau d'un simple compte il n'y a pas d'engagement de niveaux de service de la part de l' hébergeur (c'est du best effort), la stratégie de sécurité de l'IS risque de pénaliser les perfs des comptes gourmands. Je pense que $sql_export (variable volatile) devrait se vider au fil de l'eau.
Cdt
JAN

Commentaire de malik7934 le 04/01/2008 10:48:44

Salut Yoman64,

Merci pour tes remarques, je vais m'y pencher.

Ceci dit, quelqu'un qui a une base de données avec un million d'entrées a son propre serveur ou a en tous cas un accès ssh, cela me semble évident, et utilisera un code tout a fait différent (je dirais même un script .sh qui s'exécutera en quelques instants et fera tout ce que fais ce code ci-dessus! - expérience faite, 1.6GB zippés en moins d'une seconde en console, alors qu'avec un script PHP ce serait impossible).

Quoi qu'il en soit, pour le côté ludique de la chose, je vais réfléchir à tes remarques.

Merci,
Malik

Commentaire de malik7934 le 05/01/2008 14:26:05

Salut LiTtLeBuBu,

Content que ça te serve :-)

Je ne comprends pas ton problème d'auto-increment. Je viens de vérifier un export et je l'ai bien (il vaut 22 dans l'exemple suivant):

CREATE TABLE `demo_cat` (
  `id` int(10) unsigned NOT NULL auto_increment,
  `creation_date` date default NULL,
  `name` text NOT NULL,
  `internal_name` text NOT NULL,
  `rang` int(11) NOT NULL default '0',
  PRIMARY KEY  (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=22 DEFAULT CHARSET=latin1

Commentaire de LiTtLeBuBu le 05/01/2008 20:51:06

# SQL Dump par script PHP
# http://www.monsite.com
#
# Serveur: sql.******.fr
# Généré le 05-01-2008 à 20:45:14
# Version du serveur PHP: 4.3.11
# Version de Mysql: 4.1.16-Max
#
# Base de données: `base`
#
#

CREATE DATABASE `base` /*!40100 DEFAULT CHARACTER SET latin1 */

# ---------------------------------------------------

#
# Structure de la table `referer`
#

CREATE TABLE `referer` (
  `id` smallint(4) NOT NULL auto_increment,
  `nom` varchar(100) NOT NULL default '',
  `ville` varchar(100) NOT NULL default '',
  `date` date NOT NULL default '0000-00-00',
  `photo1` varchar(255) NOT NULL default '',
  `text1` varchar(60) NOT NULL default '',
  `photo2` varchar(255) NOT NULL default '',
  `text2` varchar(60) NOT NULL default '',
  `photo3` varchar(255) NOT NULL default '',
  `text3` varchar(60) NOT NULL default '',
  `photo4` varchar(255) NOT NULL default '',
  `text4` varchar(60) NOT NULL default '',
  `photo5` varchar(255) NOT NULL default '',
  `text5` varchar(60) NOT NULL default '',
  `photo6` varchar(255) NOT NULL default '',
  `text6` varchar(60) NOT NULL default '',
  `description` text NOT NULL,
  KEY `id` (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8

Commentaire de malik7934 le 06/01/2008 19:21:17

Je ne vois pas d'erreur... Essaie en console de faire "SHOW CREATE TABLE `referer`" et compare le résultat de l'export.

Commentaire de malik7934 le 06/01/2008 19:30:07

et 100!

Commentaire de malik7934 le 07/01/2008 11:32:35

Salut,

C'est même plus propre ce que tu as mis! moi j'ai eu la flême :-)

Ceci dit, c'est étonnant que tu aies eu une notice car j'ai mis error_reporting(0)!

Commentaire de malik7934 le 07/01/2008 11:38:02

OK, ceci dit, si j'ai enlevé le rapport d'erreur, c'est dans un souci de protection du script si qqun trouve le login/pwd pour accéder au répertoire. Anyway...

Commentaire de malik7934 le 07/01/2008 11:45:59

Ben en 2 mots: si tu as une erreur et qu'elle s'affiche dans le navigateur, c'est des infos sur ton système que tu donnes à qui veut et qui peuvent servir pour de mauvaises intentions suivant quoi.

En principe, un site en production ne devrait jamais avoir d'erreurs qui s'affichent directement dans le browser.

Commentaire de malik7934 le 07/01/2008 11:59:53

Pas sûr, mais pour ce que je viens de voir sur gg, il semblerait qu'il est conseillé d'avoir

error_reporting(E_ALL);
error_log(...);

Commentaire de johann1 le 09/01/2008 01:11:45

Fabuleux Malik,

Je vais placer ce super code sur tous mes sites !

Merci !

Commentaire de alphanono le 17/01/2008 21:42:08

Tu as un problème avec ta connexion à ton FTP. Il faut que tu revois tes paramètres.

Commentaire de LiTtLeBuBu le 18/01/2008 09:50:46

Moi j'ai toujours cette erreur quand je veux restaurer les tables. Mais comme j'ai modifié un peu le script il y a peut être une erreur qqpart....

// DUMP SQL
function saveDB($mysql_array = array()){

$mysql_host = $mysql_array[0];
$mysql_user = $mysql_array[1];
$mysql_password = $mysql_array[2];

error_reporting(0);
$err_msg = '';
$maxinsert = 500;

if (!empty($mail_array)){
$mail = $mail_array[0];
$attachement = $mail_array[1];
}

if(!$link = mysql_connect($mysql_host,$mysql_user,$mysql_password))
$err_msg .= 'Impossible de se connecter à '.$mysql_host."\n";
else{
$testfile = 'backup_sql/'.uniqid(mt_rand()).'.tmp';
if (!$handle = fopen($testfile,'w'))
$err_msg .= 'Impossible d\'ouvrir un fichier en écriture dans le répertoire "backup_sql/"'."\n";
else
fclose($handle);

if (file_exists($testfile)) unlink($testfile);

if ($err_msg == ''){
$db_list = mysql_list_dbs($link);
$names = array();

while ($row = mysql_fetch_object($db_list)) {
if ($row->Database != 'information_schema'){
$q = 'SHOW CREATE DATABASE `'.($row->Database).'`';
$r = mysql_query($q);

while ($s=mysql_fetch_object($r)){
$filename = 'BackupSQL_'.($row->Database).'_'.date('d-m-Y').'.sql';
$names[] = $filename;
if (!$handle = fopen('backup_sql/'.$filename, 'w'))
$err_msg .= 'Impossible d\'ouvrir en écriture le fichier sql de '.($row->Database)."\n";
else{

$sql_header .= '# SQL Dump par script PHP'."\n";
$sql_header .= '# http://www.******.com'."\n";
$sql_header .= '#'."\n";
$sql_header .= '# Serveur: sql.*****.fr'."\n";
$sql_header .= '# Généré le '.date('d-m-Y à H:i:s').''."\n";
$sql_header .= '# Version du serveur PHP: '.phpversion().''."\n";
$sql_header .= '# Version de Mysql: '.mysql_get_server_info().''."\n";
$sql_header .= '#'."\n";
$sql_header .= '# Base de données: `'.($row->Database).'`'."\n";
$sql_header .= '#'."\n";
$sql_header .= '#'."\n\n";
$sql_header .= $s->{'Create Database'}.";\n\n";

if (fwrite($handle, $sql_header) === FALSE)
$err_msg .= 'Impossible d\'écrire dans le fichier sql de '.($row->Database)."\n";
else{
mysql_select_db($row->Database, $link);

$q3 = 'SHOW TABLES';
$r3 = mysql_query($q3);

while ($s3 = mysql_fetch_object($r3)){
$table = $s3->{'Tables_in_'.($row->Database)};
$q4 = 'SHOW CREATE TABLE `'.$table.'`;';
$r4 = mysql_query($q4);

while ($s4 = mysql_fetch_object($r4)){
$sql_export = '';
$sql_export .= '# ---------------------------------------------------'."\n\n";
$sql_export .= '#'."\n";
$sql_export .= '# Structure de la table `'.$table.'`'."\n";
$sql_export .= '#'."\n\n";
$sql_export .= $s4->{'Create Table'}."\n\n";

$q5 = 'SELECT * FROM `'.$table.'`;';
$r5 = mysql_query($q5);

$slashes = array();
    $nbfields = mysql_num_fields($r5);
for($i=0; $i < $nbfields; $i++)
if (in_array(mysql_field_type($r5, $i), array('string','blob')))
$slashes[$i] = '\'';

$count = 0;

while($s5 = mysql_fetch_array($r5)){
$count++;

$sql_export .= '#'."\n";
$sql_export .= '# Contenu de la table `'.$table.'`'."\n";
$sql_export .= '#'."\n\n";

$sql_export .= 'INSERT INTO `'.$table.'` VALUES(';
$sql_export .= $slashes[0].mysql_real_escape_string($s5[0]).$slashes[0];
for($i=1; $i < $nbfields; $i++)
$sql_export .= ', '.$slashes[$i].mysql_real_escape_string($s5[$i]).$slashes[$i];

$sql_export .=  ");\n";

if($count == $maxinsert){
if (fwrite($handle, $sql_export) === FALSE){
$err_msg .= 'Erreur d\'exportation avec la '.$table.' de la base '.($row->Database)."\n";

}
else
$sql_export = '';
}
}
$sql_export .= "\n";


if (fwrite($handle, $sql_export) === FALSE)
$err_msg .= 'Erreur d\'exportation avec la '.$table.' de la base '.($row->Database)."\n";
}
}
}
fclose($handle);
}
}
}
}
}
}
}

$mysql_data = array(SERVEUR,NAME,PASS);

Commentaire de LiTtLeBuBu le 18/01/2008 10:30:02

OK je vais le faire lol....

Commentaire de christobal le 26/01/2008 11:23:47

Hello, retour sur mon dernier poste.
j'ai tj les erreurs suivantes :

Warning: mysql_list_dbs() [function.mysql-list-dbs]: Unable to save MySQL query result in /home.10.2/zzzxzzz/www/xxxxx/sql/saveDB.php on line 50
Warning: mysql_fetch_object(): supplied argument is not a valid MySQL result resource in /home.10.2/zzzxzzz/www/xxxxx/sql/saveDB.php on line 55
Warning: chdir() [function.chdir]: No such file or directory (errno 2) in /home.10.2/zzzxzzz/www/xxxxx/sql/saveDB.php on line 153
Warning: fread() [function.fread]: Length parameter must be greater than 0. in /home.10.2/zzzxzzz/www/xxxxx/sql/saveDB.php on line 209

La différence est le dernier message et oui je n'avais pas spésifier le chemin absolu du FTP mais relatif donc ca marchait pas.
Autre chose j'ai bien le mail avec le fichier zip en PJ mais winzip me dit que le fichier est endomagé. C'est pas étonnant vue que le pois est de 71 Octets au lieux des 76 K)
De plus l'archive ne se trouve pas dans mon rep /sql/ elle est ... nulpart.

Une idée ?!

Commentaire de macdav le 29/09/2008 11:05:37

Bonjour,
merci pour ce super script !
Est-ce que la version présentée est la plus à jour ?
@+ David

Commentaire de simon59150 le 12/10/2008 13:08:17

Salut, je reçoit le mail que si il y a un problème (erreur).

je ne reçois pas le mail quand ça marche, pourquoi ?

Commentaire de xstyled le 18/03/2009 11:09:19

Bonjour, j'ai exactement le même problème que Simon59150.

Quand il y a une erreur, je reçois un mail,
quand tout est 'bon', je ne reçois pas de mail..

Auriez- vous une idée ?
merci d'avance

Commentaire de julkien60 le 16/10/2009 19:29:21

Salut,

J'essaye en vain de faire marcher ta source chez OVH, j'ai du peut être louper quelques choses, car je mets le dossier / fichier en 777 (pour faire des essais), j'ai bien configurer les 3 petites lignes en bas de la source, puis quand je lance, bim Erreur 500 (d'entrée de jeux, donc c'est pas du à un time-out...

Aurais tu une idée de se qu'il faudrait que je modifie pour eviter cette erreur ?

A bientôt ^^

Commentaire de srosco le 09/02/2010 12:07:51

Bonjour, je fais suite à mon post précédent : J'ai résolu le pb en renseignant les chemins complets dans le script
par exemple :

// test d'écriture (ne devrait en principe pas échouer)
if (!$handle = fopen('/media/portail/_Backups/sql/'.$filename, 'w'))

Car en fouinant sur le net j'ai vu qu'il est préférable de faire ça quand on lance un script par cron... Ca peut peut-être servir à quelqu'un... En tout cas pour moi ça a fonctionné (et ça fonctionne toujours d'ailleurs ;-) ).

Autre question : Est-ce que quelqu'un a testé une restauration d'une base sauvegardée par ce script? Avec quelle méthode?
Moi j'ai essayé un import via phpmyadmin, et ça plante : Ca crée bien la bdd et c'est tout. Le message d'erreur indique qu'aucune base n'est sélectionnée. J'ai donc rajouter une ligne dans la partie "en-tête du fichier d'export pour la base en cours" tel que suis :

// en-tête du fichier d'export pour la base en cours
$sql_header  = '###############################################'."\n";
$sql_header .= '## BASE DE '.($row->Database)."\n";
$sql_header .= '###############################################'."\n\n";
$sql_header .= $s->{'Create Database'}.";\n\n";
$sql_header .= 'USE '.$row->Database.";\n\n";

J'ai donc rajouté la dernière ligne afin de faire une sélection de base lors de la restauration. J'ai testé ensuite et ça fonctionne avec phpmyadmin... (Toujours au cas où quelqu'un rencontre ce même pb).

Voili voilou. Si quelqu'un a des commentaires, des conseils, ou une autre solution, je suis preneur.

Bonne continuation!
$teph