MySQL intermittent se bloque avec l'erreur "Erreur fatale: impossible d'allouer de la mémoire pour le pool de tampons"
Ajouté au montage, 29/05/2013: Parce que c'est une longue question et discussion, voici un bref résumé de la question et de la solution. J'ai eu des problèmes avec MySQL et Apache sur un petit serveur Linux (1 Go de mémoire). Apache a continué à exiger plus de mémoire et, par conséquent, le système d'exploitation a toujours tué MySQL pour retrouver sa mémoire. La solution était de remplacer Apache par Lighttpd. Après avoir fait cela, l'utilisation de la mémoire sur le serveur est complètement stable depuis plusieurs mois et je n'ai eu aucun plantage d'aucune sorte. fin de l'édition
Je suis administrateur système débutant pour un petit serveur virtuel. La fonction principale du serveur est d'exécuter le logiciel de gestion de cours open-source Moodle , écrit en PHP. Il s'appuie sur une base de données, dans ce cas MySQL, et un serveur web, dans ce cas Apache.
Le serveur exécute CentOS 64 bits version 5.8 (finale) avec 1 Go de mémoire et 200 Go de disque, version du noyau 2.6.18-308.8.2.el5xen. La version MySQL est Ver 14.14 Distrib 5.5.25, pour Linux (x86_64) utilisant readline 5.1.
Je ne pense pas que le logiciel Moodle soit un gros utilisateur de MySQL. Actuellement, seuls une dizaine d'enseignants y ont accès, et lorsque je sauvegarde et compresse avec bzip2 l'intégralité de la base de données, la taille du vidage résultant est inférieure à 1 Mo.
J'ai installé le système il y a quelques mois. Le serveur Apache est resté stable pendant tout ce temps, mais MySQL est tombé en panne plusieurs fois. J'ai essayé d'en savoir plus sur la configuration optimale sur le Web, et la dernière fois que j'ai changé le /etc/my.cnf fichier, j'ai utilisé le fichier /usr/share/doc/mysql55-server-5.5.25/my-large.cnf fourni avec MySQL comme exemple. Le fichier indique qu'il est destiné aux systèmes avec 512 Mo de mémoire, j'ai donc pensé que l'utilisation de ses paramètres de configuration liés à la mémoire serait sans danger pour ce système. (J'avais précédemment configuré les paramètres liés à la mémoire de MySQL avec des nombres beaucoup plus petits, et j'ai pensé que cela aurait pu conduire à des plantages. Bien que les plantages se produisent toujours, le système est au moins plus rapide maintenant.) Ce sont le contenu actuel de /etc/my.cnf:
# /etc/my.cfg
# The main and only MySQL configuration file on [WEBSITE ADDRESS REDACTED].
# Last updated 2012-09-23 by Teemu Leisti.
# Most of the memory settings are set to be the same as the example setting file
# /usr/share/doc/mysql55-server-5.5.25/my-large.cnf, which is meant for systems
# with 512M of memory. This server currently has twice that, i.e. 1G of memory,
# which should make these settings safe.
[client]
default_character_set = utf8
port = 3306
socket = /var/lib/mysql/mysql.sock
[mysqld]
character_set_filesystem = utf8
character_set_server = utf8
datadir = /var/lib/mysql
innodb_additional_mem_pool_size = 20M
innodb_buffer_pool_size = 256M # You can set .._buffer_pool_size up to
# 50..80% of RAM, but beware of setting
# memory usage too high
innodb_data_file_path = ibdata1:10M:autoextend
innodb_data_home_dir = /var/lib/mysql
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 50
innodb_log_buffer_size = 8M
innodb_log_file_size = 64M # Set .._log_file_size to 25% of buffer
# pool size
innodb_log_group_home_dir = /var/lib/mysql
interactive_timeout = 60
key_buffer_size = 256M
long_query_time = 10
max_allowed_packet = 1M
max_connections = 30
port = 3306
query_cache_limit = 2M # see http://emergent.urbanpug.com/?p=61
query_cache_size = 16M
read_buffer_size = 1M
read_rnd_buffer_size = 4M
skip_networking # Only local processes need to use MySQL
skip_symbolic_links # Disabling symbolic_links is recommended to
# prevent assorted security risks
slow_query_log_file = /var/log/mysql-slow-queries.log
socket = /var/lib/mysql/mysql.sock
sort_buffer_size = 1M
table_open_cache = 256
thread_cache_size = 8
thread_concurrency = 2 # = number of CPUs * 2
user = mysql
wait_timeout = 10
[mysqld_safe]
log_error = /var/log/mysqld.log
open_files_limit = 4096
pid_file = /var/run/mysqld/mysqld.pid
[mysqldump]
quick
max_allowed_packet = 16M
[mysql]
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
safe-updates
[myisamchk]
key_buffer_size = 128M
sort_buffer_size = 128M
read_buffer = 2M
write_buffer = 2M
[mysqlhotcopy]
interactive-timeout
Comme vous pouvez le voir dans la configuration, la configuration utilise le moteur InnoDB, et il ne sert que les demandes de localhost. Hormis l'administrateur système (moi), Moodle est le seul utilisateur de MySQL.
Lorsque MySQL se bloque, ce qui suit est invariablement écrit dans le fichier journal /var/log/mysqld.log (sauf pour les horodatages, bien sûr):
120926 08:00:51 mysqld_safe Number of processes running now: 0
120926 08:00:51 mysqld_safe mysqld restarted
120926 8:00:53 [Note] Plugin 'FEDERATED' is disabled.
120926 8:00:53 InnoDB: The InnoDB memory heap is disabled
120926 8:00:53 InnoDB: Mutexes and rw_locks use GCC atomic builtins
120926 8:00:53 InnoDB: Compressed tables use zlib 1.2.3
120926 8:00:53 InnoDB: Using Linux native AIO
120926 8:00:53 InnoDB: Initializing buffer pool, size = 256.0M
InnoDB: mmap(274726912 bytes) failed; errno 12
120926 8:00:53 InnoDB: Completed initialization of buffer pool
120926 8:00:53 InnoDB: Fatal error: cannot allocate memory for the buffer pool
120926 8:00:53 [ERROR] Plugin 'InnoDB' init function returned error.
120926 8:00:53 [ERROR] Plugin 'InnoDB' registration as a STORAGE ENGINE failed.
120926 8:00:53 [ERROR] Unknown/unsupported storage engine: InnoDB
120926 8:00:53 [ERROR] Aborting
120926 8:00:53 [Note] /usr/libexec/mysqld: Shutdown complete
120926 08:00:53 mysqld_safe mysqld from pid file /var/run/mysqld/mysqld.pid ended
Parfois, je peux redémarrer MySQL en commandant service mysqld restart, mais parfois cette commande échoue avec cette sortie: mysqld dead but subsys locked. Dans ces cas, la seule chose à laquelle j'ai pu penser pour récupérer la situation est de redémarrer le serveur, après quoi MySQL peut être redémarré. Dans ces cas, la sortie ressemble à ceci:
120926 11:43:48 mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql
120926 11:43:48 [Note] Plugin 'FEDERATED' is disabled.
120926 11:43:48 InnoDB: The InnoDB memory heap is disabled
120926 11:43:48 InnoDB: Mutexes and rw_locks use GCC atomic builtins
120926 11:43:48 InnoDB: Compressed tables use zlib 1.2.3
120926 11:43:48 InnoDB: Using Linux native AIO
120926 11:43:48 InnoDB: Initializing buffer pool, size = 256.0M
120926 11:43:48 InnoDB: Completed initialization of buffer pool
120926 11:43:48 InnoDB: highest supported file format is Barracuda.
InnoDB: The log sequence number in ibdata files does not match
InnoDB: the log sequence number in the ib_logfiles!
120926 11:43:48 InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
120926 11:43:51 InnoDB: Waiting for the background threads to start
120926 11:43:52 InnoDB: 1.1.8 started; log sequence number 466807107
120926 11:43:52 [Note] Event Scheduler: Loaded 0 events
120926 11:43:52 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.5.25' socket: '/var/lib/mysql/mysql.sock' port: 0 MySQL Community Server (GPL)
Voici ce que la commande free -m affiche actuellement:
# free -m
total used free shared buffers cached
Mem: 1024 869 154 0 70 153
-/+ buffers/cache: 644 379
Swap: 0 0 0
Habituellement, la colonne "gratuit" se situe entre 50 et 100 Mo.
La sortie de la commande ulimit -a:
# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 8192
max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 8192
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
Je n'ai modifié aucun des paramètres ou fichiers de code de Moodle, à l'exception de /var/www/html/moodle/config.php, qui ressemble à ceci (lignes de commentaires supprimées pour économiser de l'espace):
<?php
unset($CFG); // Ignore this line
global $CFG; // This is necessary here for PHPUnit execution
$CFG = new stdClass();
$CFG->dbtype = 'mysqli'; // 'pgsql', 'mysqli', 'mssql', 'sqlsrv' or 'oci'
$CFG->dblibrary = 'native'; // 'native' only at the moment
$CFG->dbhost = 'localhost'; // eg 'localhost' or 'db.isp.com' or IP
$CFG->dbname = 'moodle'; // database name, eg moodle
$CFG->dbuser = 'moodleuser'; // your database username
$CFG->dbpass = '[REDACTED]'; // your database password
$CFG->prefix = 'moodle_'; // prefix to use for all table names
$CFG->dboptions = array(
'dbpersist' => false, // should persistent database connections be
// used? set to 'false' for the most stable
// setting, 'true' can improve performance
// sometimes
'dbsocket' => true, // should connection via UNIX socket be used?
// if you set it to 'true' or custom path
// here set dbhost to 'localhost',
// (please note mysql is always using socket
// if dbhost is 'localhost' - if you need
// local port connection use '127.0.0.1')
'dbport' => '', // the TCP port number to use when connecting
// to the server. keep empty string for the
// default port
);
$CFG->passwordsaltmain = '[REDACTED]';
$CFG->wwwroot = 'http://[REDACTED]';
$CFG->dataroot = '/var/moodledata';
$CFG->directorypermissions = 02777;
$CFG->admin = 'admin';
date_default_timezone_set('Europe/Helsinki');
$CFG->disableupdatenotifications = true;
require_once(dirname(__FILE__) . '/lib/setup.php'); // Do not edit
(Cependant, j'ai installé deux plugins Moodle, le module et le bloc Attendance , mais je ne vois pas comment ils pourraient être impliqués dans ce problème.)
Même après avoir mis à jour /etc/my.cnf à son état actuel il y a une semaine, MySQL est tombé en panne plusieurs fois avec les symptômes indiqués ci-dessus. Étant un débutant en administration de bases de données et après avoir fait beaucoup de recherches sur ce problème, je ne sais pas quoi faire ensuite. Aucune suggestion? Dois-je publier plus de données de configuration?
Ajout lors de l'édition:
Le contenu du fichier /var/log/messages.1 sont:
Sep 23 04:02:18 [machine name] syslogd 1.4.1: restart.
Sep 26 08:00:51 [machine name] kernel: mysqld invoked oom-killer: gfp_mask=0x201d2, order=0, oomkilladj=0
Sep 26 08:00:51 [machine name] kernel:
Sep 26 08:00:51 [machine name] kernel: Call Trace:
Sep 26 08:00:51 [machine name] kernel: [<ffffffff802c1bd5>] out_of_memory+0x8b/0x203
Sep 26 08:00:51 [machine name] kernel: [<ffffffff8020fa49>] __alloc_pages+0x27f/0x308
Sep 26 08:00:51 [machine name] kernel: [<ffffffff802139c9>] __do_page_cache_readahead+0xc8/0x1af
Sep 26 08:00:51 [machine name] kernel: [<ffffffff8021423a>] filemap_nopage+0x14c/0x360
Sep 26 08:00:51 [machine name] kernel: [<ffffffff80208e9d>] __handle_mm_fault+0x444/0x144f
Sep 26 08:00:51 [machine name] kernel: [<ffffffff80263929>] _spin_lock_irqsave+0x9/0x14
Sep 26 08:00:51 [machine name] kernel: [<ffffffff8023f468>] lock_timer_base+0x1b/0x3c
Sep 26 08:00:51 [machine name] kernel: [<ffffffff80266d94>] do_page_fault+0xf72/0x131b
Sep 26 08:00:51 [machine name] kernel: [<ffffffff802e5f4f>] sys_io_getevents+0x311/0x359
Sep 26 08:00:51 [machine name] kernel: [<ffffffff802e4e56>] timeout_func+0x0/0x10
Sep 26 08:00:51 [machine name] kernel: [<ffffffff8025f82b>] error_exit+0x0/0x6e
Sep 26 08:00:51 [machine name] kernel:
Sep 26 08:00:51 [machine name] kernel: Mem-info:
Sep 26 08:00:51 [machine name] kernel: DMA per-cpu:
Sep 26 08:00:51 [machine name] kernel: cpu 0 hot: high 0, batch 1 used:0
Sep 26 08:00:51 [machine name] kernel: cpu 0 cold: high 0, batch 1 used:0
Sep 26 08:00:51 [machine name] kernel: DMA32 per-cpu:
Sep 26 08:00:51 [machine name] kernel: cpu 0 hot: high 186, batch 31 used:117
Sep 26 08:00:51 [machine name] kernel: cpu 0 cold: high 62, batch 15 used:53
Sep 26 08:00:51 [machine name] kernel: Normal per-cpu: empty
Sep 26 08:00:51 [machine name] kernel: HighMem per-cpu: empty
Sep 26 08:00:51 [machine name] kernel: Free pages: 7256kB (0kB HighMem)
Sep 26 08:00:51 [machine name] kernel: Active:241649 inactive:0 dirty:0 writeback:0 unstable:0 free:1814 slab:4104 mapped-file:1153 mapped-anon:240592 pagetables:3298
Sep 26 08:00:51 [machine name] kernel: DMA free:3268kB min:32kB low:40kB high:48kB active:0kB inactive:0kB present:9068kB pages_scanned:0 all_unreclaimable? yes
Sep 26 08:00:51 [machine name] kernel: lowmem_reserve[]: 0 994 994 994
Sep 26 08:00:51 [machine name] kernel: DMA32 free:3988kB min:4016kB low:5020kB high:6024kB active:966596kB inactive:0kB present:1018080kB pages_scanned:6327262 all_unreclaimable? yes
Sep 26 08:00:52 [machine name] kernel: lowmem_reserve[]: 0 0 0 0
Sep 26 08:00:52 [machine name] kernel: Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
Sep 26 08:00:52 [machine name] kernel: lowmem_reserve[]: 0 0 0 0
Sep 26 08:00:52 [machine name] kernel: HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
Sep 26 08:00:52 [machine name] kernel: lowmem_reserve[]: 0 0 0 0
Sep 26 08:00:52 [machine name] kernel: DMA: 1*4kB 2*8kB 1*16kB 1*32kB 2*64kB 2*128kB 1*256kB 1*512kB 2*1024kB 0*2048kB 0*4096kB = 3268kB
Sep 26 08:00:52 [machine name] kernel: DMA32: 17*4kB 2*8kB 2*16kB 1*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 0*4096kB = 3988kB
Sep 26 08:00:52 [machine name] kernel: Normal: empty
Sep 26 08:00:52 [machine name] kernel: HighMem: empty
Sep 26 08:00:52 [machine name] kernel: 1214 pagecache pages
Sep 26 08:00:52 [machine name] kernel: Swap cache: add 0, delete 0, find 0/0, race 0+0
Sep 26 08:00:52 [machine name] kernel: Free swap = 0kB
Sep 26 08:00:52 [machine name] kernel: Total swap = 0kB
Sep 26 08:00:52 [machine name] kernel: Free swap: 0kB
Sep 26 08:00:52 [machine name] kernel: 262144 pages of RAM
Sep 26 08:00:52 [machine name] kernel: 8320 reserved pages
Sep 26 08:00:52 [machine name] kernel: 22510 pages shared
Sep 26 08:00:52 [machine name] kernel: 0 pages swap cached
Sep 26 08:00:52 [machine name] kernel: Out of memory: Killed process 1371, UID 27, (mysqld).
puis les lignes liées au redémarrage à 11:42.
Ajout lors de l'édition # 2:
J'ai essayé de commenter la réponse de Michael, mais je suis allé à l'encontre de la limite de caractères des commentaires, alors je réponds ici.
Merci d'avoir répondu, Michael. Je viens de modifier ma question pour inclure le contenu du journal système de la machine au moment de l'accident. (CentOS semble appeler son journal système /var/log/messages.)
Oui, les journaux MySQL et système semblent presque identiques à ceux de la question à laquelle vous avez lié. Et maintenant que vous le mentionnez, il est évident que le mysql restarted message signifie que MySQL était déjà tombé en panne. Le journal système indique qu'il s'agit de oom_killer ce qui a permis le processus. Dans votre réponse précédente, vous écrivez: "Première supposition: les processus enfants Apache s'exécutent de façon folle." Il me semble qu'Apache est le suspect évident ici aussi.
Plus tôt, j'ai trouvé l'article Optimisation de MySQL et Apache pour une faible utilisation de la mémoire, partie 1 . Pour configurer Apache, l'auteur recommande: "Tout d'abord, Apache. Ma première déclaration est, si vous pouvez l'éviter, essayez. Lighttpd et thttpd sont tous les deux de très bons serveurs Web sans fioritures, et vous pouvez exécuter lighttpd avec PHP. Même si vous 'exécutez un site à volume élevé, vous pouvez sérieusement gagner en performances en transmettant le contenu statique (images et fichiers javascript, généralement) à un serveur HTTPd léger et ultra-rapide tel que Lighttpd. "
Je pense à suivre les conseils de l'auteur et j'ai convenu avec mon client que le week-end prochain, je remplacerais Apache par Lighttpd sur le serveur. J'espère que cela résoudra les problèmes. L'utilisation de deux serveurs virtuels est très probablement impossible.
Je n'avais pas pensé qu'utiliser deux serveurs open source stables et matures tels que MySQL et Apache sur la même machine, avec une quantité raisonnable de mémoire, serait aussi gênant.
Veuillez revoir ma réponse à cette question récente . Je pense que les circonstances sont identiques.
Ne changez pas votre configuration MySQL à ce stade, car MySQL n'est pas le problème - c'est seulement un symptôme du problème ... c'est que vous semblez avoir un système avec une petite quantité de mémoire et zéro espace de swap.
Votre serveur est ne pas s'écraser "parce que" la mémoire ne peut pas être allouée au pool de mémoire tampon. Votre serveur se bloque ... puis ne peut pas redémarrer par la suite en raison de l'indisponibilité de la mémoire système. Toute la mémoire configurée pour le pool de tampons InnoDB est demandée au système au démarrage de mysql.
Lorsque vous voyez ce message de journal ...
120926 08:00:51 mysqld_safe Number of processes running now: 0
... votre serveur est déjà mort. S'il n'a rien enregistré avant cela, il ne va rien enregistrer sur le premier crash. Les journaux suivants proviennent de la tentative automatique de redémarrage.
Vérifiez votre journal système et vous devriez trouver des messages où le noyau est allé chercher des processus à tuer en raison d'une condition de mémoire insuffisante.
L'étape 1 consisterait probablement à ajouter de l'espace d'échange et/ou à allouer RAM si possible).
Si ce n'est pas possible, vous pourriez envisager décroissant la taille du pool de tampons innodb dans votre configuration. (Je n'ai jamais pensé m'entendre dire ça). Tant que votre base de données est petite et que votre trafic est faible, vous n'aurez peut-être pas besoin d'un pool de tampons aussi important ... et puisque la mémoire du pool de tampons InnoDB est allouée au démarrage, qu'elle soit nécessaire ou non, cela libérerait une partie de votre la mémoire du système pour tout ce qui l'exige. (La recommandation de 75% à 80% de la RAM totale pour dimensionner le pool de tampons n'est vraie que si tout le serveur est dédié à MySQL.)
L'étape 2 consistera à examiner le modèle de fourche d'Apache et ce que vous devrez peut-être faire différemment dans la configuration pour l'empêcher de submerger votre serveur. Il est très probable que la croissance incontrôlée de la quantité ou des besoins en mémoire des processus enfants Apache déclenche une cascade d'événements, entraînant le noyau tuant MySQL pour essayer d'éviter une panne complète de l'ensemble du serveur.
Selon la flexibilité dont vous disposez, vous pouvez même envisager deux machines virtuelles distinctes pour Apache et MySQL.