MySQL (Percona-Server 5.5) Stalles complètement lors de l'importation (MyLoader)

Question

Lors de la configuration de nos nouveaux serveurs (IBM X3650M4, 2x Intel Xeon E5-2620, 64g RAM, RAID 10 (4x 240g SSD)) Nous avons heurté un problème étrange. Nous essayons d'importer des vidanges (mydumper) de notre environnement de production (ancien) dans notre nouveau, mais nous sommes difficilement en mesure de le faire.

Le décharge est 47 g (compressé), +/- 4 4500 tables, les plus grandes tables sont de 7,1 g (54285914 lignes), de 2,2 g, 1,7 g et 1,7 g.

Nous essayons de courir myloader avec des threads 12 (ou 8), mais la plupart des temps qui échouent. Après quelques minutes myloader vient sur les grandes tables et juste des stalles. Plusieurs outils ne montrent plus d'activité (htop no cpu charge, iostat non écrit ou lit), mytop indique 4 requêtes (de longues-courantes) qui ne finissent jamais, la plupart des innotop écrans sont gelés (parce que SHOW INNODB STATUS ne renvoie plus aucun résultat). Lorsque j'essaie de redémarrer mysql qui échoue aussi, car mysql n'est pas capable de tuer un certain nombre de fils. Le seul remède est d'utiliser killall -9 mysqld mysql.

Nous utilisons la configuration MySQL suivante:

# cat /etc/mysql/my.cnf # Ansible managed [client] port = 3306 socket = /var/run/mysqld/mysqld.sock ssl_cert = /etc/mysql/client-cert.pem ssl_key = /etc/mysql/client-key.pem [mysqld_safe] socket = /var/run/mysqld/mysqld.sock Nice = 0 [mysqld] user = mysql socket = /var/run/mysqld/mysqld.sock pid_file = /var/run/mysqld/mysqld.pid port = 3306 basedir = /usr datadir = /var/lib/mysql tmpdir = /tmp lc_messages_dir = /usr/share/mysql general_log = 0 general_log_file = /var/log/mysql/mysql.log log_error = /var/log/mysql/error.log log_queries_not_using_indexes = 0 slow_query_log = 0 slow_query_log_file = /var/log/mysql/mysql-slow.log skip_external_locking = 1 skip_name_resolve = 1 max_connections = 1000 wait_timeout = 28800 interactive_timeout = 28800 sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES character_set_server = utf8 collation_server = utf8_general_ci skip-character-set-client-handshake init_connect='SET collation_connection = utf8_general_ci; SET NAMES utf8;' default_storage_engine = InnoDB key_buffer_size = 32M myisam_recover_options = FORCE,BACKUP thread_stack = 256K thread_cache_size = 500 query_cache_type = 0 query_cache_limit = 2M query_cache_size = 64M max_allowed_packet = 256M group_concat_max_len = 256M tmp_table_size = 256M max_heap_table_size = 64M open_files_limit = 65535 innodb_open_files = 8192 table_definition_cache = 8192 table_open_cache = 8192 expire_logs_days = 7 max_binlog_size = 1G innodb_buffer_pool_size = 32G innodb_additional_mem_pool_size = 64M innodb_log_file_size = 512M innodb_log_buffer_size = 16M innodb_flush_log_at_trx_commit = 2 innodb_flush_method = O_DIRECT innodb_thread_concurrency = 0 innodb_write_io_threads = 8 innodb_read_io_threads = 8 innodb_io_capacity = 25000 innodb_file_per_table innodb_stats_on_metadata = 0 innodb_adaptive_flushing_method = keep_average innodb_flush_neighbor_pages = none log_warnings_suppress = 1592 query_response_time_stats = 1 ssl_ca = /etc/mysql/ca-cert.pem ssl_cert = /etc/mysql/server-cert.pem ssl_key = /etc/mysql/server-key.pem [mysqldump] quick quote-names max_allowed_packet = 256M [mysql] [isamchk] key_buffer_size = 32M !includedir /etc/mysql/conf.d/

Nous utilisons les options de montage ext4 suivantes:

defaults,noatime,nobarrier

Nous utilisons les paramètres suivants RAID (Controller):

# ./MegaCli64 -LDInfo -Lall -aAll Adapter 0 -- Virtual Drive Information: Virtual Drive: 0 (Target Id: 0) Name : RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0 Size : 445.171 GB Sector Size : 512 Is VD emulated : No Mirror Data : 445.171 GB State : Optimal Strip Size : 128 KB Number Of Drives per span:2 Span Depth : 2 Default Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU Current Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU Default Access Policy: Read/Write Current Access Policy: Read/Write Disk Cache Policy : Disabled Encryption Type : None PI type: No PI Is VD Cached: No Virtual Drive: 1 (Target Id: 1) Name : RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0 Size : 930.390 GB Sector Size : 512 Is VD emulated : No Mirror Data : 930.390 GB State : Optimal Strip Size : 128 KB Number Of Drives : 2 Span Depth : 1 Default Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU Current Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU Default Access Policy: Read/Write Current Access Policy: Read/Write Disk Cache Policy : Disabled Encryption Type : None PI type: No PI Is VD Cached: No Exit Code: 0x00

et

# ./MegaCli64 -AdpAllInfo -a0 Adapter #0 ============================================================================== Versions ================ Product Name : ServeRAID M5110e Serial No : 31R0NE FW Package Build: 23.22.0-0024 Mfg. Data ================ Mfg. Date : 01/24/13 Rework Date : 01/24/13 Revision No : 00W2671 Battery FRU : Image Versions in Flash: ================ BIOS Version : 5.45.07.2_4.16.08.00_0x06030503 FW Version : 3.340.75-3372 NVDATA Version : 2.1312.03-0126 WebBIOS Version : 6.1-71-e_71-Rel Preboot CLI Version: 05.07-00:#%00011 Boot Block Version : 2.05.00.00-0010 BOOT Version : 07.26.26.219 Pending Images in Flash ================ None PCI Info ================ Controller Id : 0000 Vendor Id : 1000 Device Id : 005b SubVendorId : 1014 SubDeviceId : 0412 Host Interface : PCIE ChipRevision : D1 Link Speed : 0 Number of Frontend Port: 0 Device Interface : PCIE Number of Backend Port: 8 Port : Address 0 4433221100000000 1 4433221101000000 2 4433221102000000 3 4433221103000000 4 4433221104000000 5 4433221105000000 6 0000000000000000 7 0000000000000000 HW Configuration ================ SAS Address : 500507605803cfa8 BBU : Present Alarm : Present NVRAM : Present Serial Debugger : Present Memory : Present Flash : Present Memory Size : 512MB TPM : Absent On board Expander: Absent Upgrade Key : Present Temperature sensor for ROC : Present Temperature sensor for controller : Absent ROC temperature : 59 degree Celsius Settings ================ Current Time : 20:52:13 11/12, 2015 Predictive Fail Poll Interval : 300sec Interrupt Throttle Active Count : 16 Interrupt Throttle Completion : 50us Rebuild Rate : 30% PR Rate : 30% BGI Rate : 30% Check Consistency Rate : 30% Reconstruction Rate : 30% Cache Flush Interval : 4s Max Drives to Spinup at One Time : 2 Delay Among Spinup Groups : 12s Physical Drive Coercion Mode : 1GB Cluster Mode : Disabled Alarm : Disabled Auto Rebuild : Enabled Battery Warning : Enabled Ecc Bucket Size : 15 Ecc Bucket Leak Rate : 1440 Minutes Restore HotSpare on Insertion : Disabled Expose Enclosure Devices : Enabled Maintain PD Fail History : Enabled Host Request Reordering : Enabled Auto Detect BackPlane Enabled : SGPIO/i2c SEP Load Balance Mode : Auto Use FDE Only : Yes Security Key Assigned : No Security Key Failed : No Security Key Not Backedup : No Default LD PowerSave Policy : Controller Defined Maximum number of direct attached drives to spin up in 1 min : 10 Auto Enhanced Import : No Any Offline VD Cache Preserved : No Allow Boot with Preserved Cache : No Disable Online Controller Reset : No PFK in NVRAM : Yes Use disk activity for locate : No POST delay : 90 seconds BIOS Error Handling : Stop On Errors Current Boot Mode :Normal Capabilities ================ RAID Level Supported : RAID0, RAID1, RAID5, RAID6, RAID00, RAID10, RAID50, RAID60, PRL 11, PRL 11 with spanning, SRL 3 supported, PRL11-RLQ0 DDF layout with no span, PRL11-RLQ0 DDF layout with span Supported Drives : SAS, SATA Allowed Mixing: Mix in Enclosure Allowed Status ================ ECC Bucket Count : 0 Limitations ================ Max Arms Per VD : 32 Max Spans Per VD : 8 Max Arrays : 128 Max Number of VDs : 64 Max Parallel Commands : 1008 Max SGE Count : 60 Max Data Transfer Size : 8192 sectors Max Strips PerIO : 42 Max LD per array : 16 Min Strip Size : 8 KB Max Strip Size : 1.0 MB Max Configurable CacheCade Size: 0 GB Current Size of CacheCade : 0 GB Current Size of FW Cache : 368 MB Device Present ================ Virtual Drives : 2 Degraded : 0 Offline : 0 Physical Devices : 7 Disks : 6 Critical Disks : 0 Failed Disks : 0 Supported Adapter Operations ================ Rebuild Rate : Yes CC Rate : Yes BGI Rate : Yes Reconstruct Rate : Yes Patrol Read Rate : Yes Alarm Control : Yes Cluster Support : Yes BBU : Yes Spanning : Yes Dedicated Hot Spare : Yes Revertible Hot Spares : Yes Foreign Config Import : Yes Self Diagnostic : Yes Allow Mixed Redundancy on Array : No Global Hot Spares : Yes Deny SCSI Passthrough : No Deny SMP Passthrough : No Deny STP Passthrough : No Support Security : Yes Snapshot Enabled : No Support the OCE without adding drives : Yes Support PFK : Yes Support PI : Yes Support Boot Time PFK Change : Yes Disable Online PFK Change : Yes Support LDPI Type1 : No Support LDPI Type2 : No Support LDPI Type3 : No PFK TrailTime Remaining : 0 days 0 hours Support Shield State : Yes Block SSD Write Disk Cache Change: No Support Online FW Update : Yes Supported VD Operations ================ Read Policy : Yes Write Policy : Yes IO Policy : Yes Access Policy : Yes Disk Cache Policy : Yes Reconstruction : Yes Deny Locate : No Deny CC : No Allow Ctrl Encryption: No Enable LDBBM : No Support Breakmirror : No Power Savings : No Supported PD Operations ================ Force Online : Yes Force Offline : Yes Force Rebuild : Yes Deny Force Failed : No Deny Force Good/Bad : No Deny Missing Replace : No Deny Clear : No Deny Locate : No Support Temperature : Yes NCQ : Yes Disable Copyback : No Enable JBOD : No Enable Copyback on SMART : No Enable Copyback to SSD on SMART Error : Yes Enable SSD Patrol Read : No PR Correct Unconfigured Areas : Yes Error Counters ================ Memory Correctable Errors : 0 Memory Uncorrectable Errors : 0 Cluster Information ================ Cluster Permitted : No Cluster Active : No Default Settings ================ Phy Polarity : 0 Phy PolaritySplit : 0 Background Rate : 30 Strip Size : 128kB Flush Time : 4 seconds Write Policy : WB Read Policy : Adaptive Cache When BBU Bad : Disabled Cached IO : No SMART Mode : Mode 6 Alarm Disable : No Coercion Mode : 1GB ZCR Config : Unknown Dirty LED Shows Drive Activity : No BIOS Continue on Error : 0 Spin Down Mode : None Allowed Device Type : SAS/SATA Mix Allow Mix in Enclosure : Yes Allow HDD SAS/SATA Mix in VD : No Allow SSD SAS/SATA Mix in VD : No Allow HDD/SSD Mix in VD : No Allow SATA in Cluster : No Max Chained Enclosures : 16 Disable Ctrl-R : Yes Enable Web BIOS : Yes Direct PD Mapping : No BIOS Enumerate VDs : Yes Restore Hot Spare on Insertion : No Expose Enclosure Devices : Yes Maintain PD Fail History : Yes Disable Puncturing : Yes Zero Based Enclosure Enumeration : No PreBoot CLI Enabled : Yes LED Show Drive Activity : Yes Cluster Disable : No SAS Disable : No Auto Detect BackPlane Enable : SGPIO/i2c SEP Use FDE Only : Yes Enable Led Header : No Delay during POST : 0 EnableCrashDump : No Disable Online Controller Reset : No EnableLDBBM : No Un-Certified Hard Disk Drives : Allow Treat Single span R1E as R10 : No Max LD per array : 16 Power Saving option : All power saving options are disabled Default spin down time in minutes: 30 Enable JBOD : No TTY Log In Flash : No Auto Enhanced Import : No BreakMirror RAID Support : No Disable Join Mirror : No Enable Shield State : Yes Time taken to detect CME : 60s Exit Code: 0x00

et

# ./MegaCli64 -PDList -a0 Adapter #0 Enclosure Device ID: 252 Slot Number: 0 Drive's position: DiskGroup: 0, Span: 0, Arm: 0 Enclosure position: N/A Device Id: 0 WWN: 50025385700191ba Sequence Number: 2 Media Error Count: 0 Other Error Count: 0 Predictive Failure Count: 0 Last Predictive Failure Event Seq Number: 0 PD Type: SATA Raw Size: 223.570 GB [0x1bf244b0 Sectors] Non Coerced Size: 223.070 GB [0x1be244b0 Sectors] Coerced Size: 222.585 GB [0x1bd2c000 Sectors] Sector Size: 512 Logical Sector Size: 512 Physical Sector Size: 512 Firmware state: Online, Spun Up Commissioned Spare : No Emergency Spare : No Device Firmware Level: 203Q Shield Counter: 0 Successful diagnostics completion on : N/A SAS Address(0): 0x4433221100000000 Connected Port Number: 0(path0) Inquiry Data: S1G0NWAG600282 SAMSUNG MZ7WD240HCFV-00003 DXM9203Q FDE Capable: Not Capable FDE Enable: Disable Secured: Unsecured Locked: Unlocked Needs EKM Attention: No Foreign State: None Device Speed: 6.0Gb/s Link Speed: 6.0Gb/s Media Type: Solid State Device Drive: Not Certified Drive Temperature :34C (93.20 F) PI Eligibility: No Drive is formatted for PI information: No PI: No PI Drive's NCQ setting : Enabled Port-0 : Port status: Active Port's Linkspeed: 6.0Gb/s Drive has flagged a S.M.A.R.T alert : No Enclosure Device ID: 252 Slot Number: 1 Drive's position: DiskGroup: 0, Span: 0, Arm: 1 Enclosure position: N/A Device Id: 1 WWN: 50025385700191c6 Sequence Number: 2 Media Error Count: 0 Other Error Count: 0 Predictive Failure Count: 0 Last Predictive Failure Event Seq Number: 0 PD Type: SATA Raw Size: 223.570 GB [0x1bf244b0 Sectors] Non Coerced Size: 223.070 GB [0x1be244b0 Sectors] Coerced Size: 222.585 GB [0x1bd2c000 Sectors] Sector Size: 512 Logical Sector Size: 512 Physical Sector Size: 512 Firmware state: Online, Spun Up Commissioned Spare : No Emergency Spare : No Device Firmware Level: 203Q Shield Counter: 0 Successful diagnostics completion on : N/A SAS Address(0): 0x4433221101000000 Connected Port Number: 1(path0) Inquiry Data: S1G0NWAG600294 SAMSUNG MZ7WD240HCFV-00003 DXM9203Q FDE Capable: Not Capable FDE Enable: Disable Secured: Unsecured Locked: Unlocked Needs EKM Attention: No Foreign State: None Device Speed: 6.0Gb/s Link Speed: 6.0Gb/s Media Type: Solid State Device Drive: Not Certified Drive Temperature :33C (91.40 F) PI Eligibility: No Drive is formatted for PI information: No PI: No PI Drive's NCQ setting : Enabled Port-0 : Port status: Active Port's Linkspeed: 6.0Gb/s Drive has flagged a S.M.A.R.T alert : No Enclosure Device ID: 252 Slot Number: 2 Drive's position: DiskGroup: 0, Span: 1, Arm: 0 Enclosure position: N/A Device Id: 2 WWN: 50025385700191c2 Sequence Number: 2 Media Error Count: 0 Other Error Count: 0 Predictive Failure Count: 0 Last Predictive Failure Event Seq Number: 0 PD Type: SATA Raw Size: 223.570 GB [0x1bf244b0 Sectors] Non Coerced Size: 223.070 GB [0x1be244b0 Sectors] Coerced Size: 222.585 GB [0x1bd2c000 Sectors] Sector Size: 512 Logical Sector Size: 512 Physical Sector Size: 512 Firmware state: Online, Spun Up Commissioned Spare : No Emergency Spare : No Device Firmware Level: 203Q Shield Counter: 0 Successful diagnostics completion on : N/A SAS Address(0): 0x4433221102000000 Connected Port Number: 2(path0) Inquiry Data: S1G0NWAG600290 SAMSUNG MZ7WD240HCFV-00003 DXM9203Q FDE Capable: Not Capable FDE Enable: Disable Secured: Unsecured Locked: Unlocked Needs EKM Attention: No Foreign State: None Device Speed: 6.0Gb/s Link Speed: 6.0Gb/s Media Type: Solid State Device Drive: Not Certified Drive Temperature :33C (91.40 F) PI Eligibility: No Drive is formatted for PI information: No PI: No PI Drive's NCQ setting : Enabled Port-0 : Port status: Active Port's Linkspeed: 6.0Gb/s Drive has flagged a S.M.A.R.T alert : No Enclosure Device ID: 252 Slot Number: 3 Drive's position: DiskGroup: 0, Span: 1, Arm: 1 Enclosure position: N/A Device Id: 3 WWN: 50025385700191b7 Sequence Number: 2 Media Error Count: 0 Other Error Count: 0 Predictive Failure Count: 0 Last Predictive Failure Event Seq Number: 0 PD Type: SATA Raw Size: 223.570 GB [0x1bf244b0 Sectors] Non Coerced Size: 223.070 GB [0x1be244b0 Sectors] Coerced Size: 222.585 GB [0x1bd2c000 Sectors] Sector Size: 512 Logical Sector Size: 512 Physical Sector Size: 512 Firmware state: Online, Spun Up Commissioned Spare : No Emergency Spare : No Device Firmware Level: 203Q Shield Counter: 0 Successful diagnostics completion on : N/A SAS Address(0): 0x4433221103000000 Connected Port Number: 3(path0) Inquiry Data: S1G0NWAG600279 SAMSUNG MZ7WD240HCFV-00003 DXM9203Q FDE Capable: Not Capable FDE Enable: Disable Secured: Unsecured Locked: Unlocked Needs EKM Attention: No Foreign State: None Device Speed: 6.0Gb/s Link Speed: 6.0Gb/s Media Type: Solid State Device Drive: Not Certified Drive Temperature :35C (95.00 F) PI Eligibility: No Drive is formatted for PI information: No PI: No PI Drive's NCQ setting : Enabled Port-0 : Port status: Active Port's Linkspeed: 6.0Gb/s Drive has flagged a S.M.A.R.T alert : No Enclosure Device ID: 252 Slot Number: 4 Drive's position: DiskGroup: 1, Span: 0, Arm: 0 Enclosure position: N/A Device Id: 4 WWN: 5000c5004f547de9 Sequence Number: 2 Media Error Count: 0 Other Error Count: 0 Predictive Failure Count: 0 Last Predictive Failure Event Seq Number: 0 PD Type: SATA Raw Size: 931.512 GB [0x74706db0 Sectors] Non Coerced Size: 931.012 GB [0x74606db0 Sectors] Coerced Size: 930.390 GB [0x744c8000 Sectors] Sector Size: 512 Logical Sector Size: 512 Physical Sector Size: 512 Firmware state: Online, Spun Up Commissioned Spare : No Emergency Spare : No Device Firmware Level: HPGD Shield Counter: 0 Successful diagnostics completion on : N/A SAS Address(0): 0x4433221104000000 Connected Port Number: 4(path0) Inquiry Data: Z1N3AYLE MB1000GCEHH HPGD FDE Capable: Not Capable FDE Enable: Disable Secured: Unsecured Locked: Unlocked Needs EKM Attention: No Foreign State: None Device Speed: 6.0Gb/s Link Speed: 6.0Gb/s Media Type: Hard Disk Device Drive: Not Certified Drive Temperature :34C (93.20 F) PI Eligibility: No Drive is formatted for PI information: No PI: No PI Drive's NCQ setting : Enabled Port-0 : Port status: Active Port's Linkspeed: 6.0Gb/s Drive has flagged a S.M.A.R.T alert : No Enclosure Device ID: 252 Slot Number: 5 Drive's position: DiskGroup: 1, Span: 0, Arm: 1 Enclosure position: N/A Device Id: 5 WWN: 5000c5004f547bb5 Sequence Number: 2 Media Error Count: 0 Other Error Count: 0 Predictive Failure Count: 0 Last Predictive Failure Event Seq Number: 0 PD Type: SATA Raw Size: 931.512 GB [0x74706db0 Sectors] Non Coerced Size: 931.012 GB [0x74606db0 Sectors] Coerced Size: 930.390 GB [0x744c8000 Sectors] Sector Size: 512 Logical Sector Size: 512 Physical Sector Size: 512 Firmware state: Online, Spun Up Commissioned Spare : No Emergency Spare : No Device Firmware Level: HPGD Shield Counter: 0 Successful diagnostics completion on : N/A SAS Address(0): 0x4433221105000000 Connected Port Number: 5(path0) Inquiry Data: Z1N3AZR2 MB1000GCEHH HPGD FDE Capable: Not Capable FDE Enable: Disable Secured: Unsecured Locked: Unlocked Needs EKM Attention: No Foreign State: None Device Speed: 6.0Gb/s Link Speed: 6.0Gb/s Media Type: Hard Disk Device Drive: Not Certified Drive Temperature :34C (93.20 F) PI Eligibility: No Drive is formatted for PI information: No PI: No PI Drive's NCQ setting : Enabled Port-0 : Port status: Active Port's Linkspeed: 6.0Gb/s Drive has flagged a S.M.A.R.T alert : No Exit Code: 0x00

Edit 1: Nous utilisons:

Percona Server 5.5.46-37.5
myDumper 0.6.2 (construit contre MySQL 5.5.45-37.4)
Kernel 3.13.0-68-générique # 111-Ubuntu SMP Ven Nov 6 18:17:06 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

Edit 2: Le problème n'est pas lié à:

myloader, mysql Le client a le même problème lors de l'importation avec plusieurs processus
RAM de serveur (testé)
RAM du contrôleur RAID (testé)
Multi-CPU, importation également des stands lorsque MySQLD est lié à un processeur

Edit 3:

Mariahb (mysqld Ver 5.5.46-MariaDB-1ubuntu0.14.04.2 for debian-linux-gnu on x86_64 ((Ubuntu))) ne semble pas avoir ce problème

Edit 4:

Le problème semble être causé par l'un des quatre paramètres ci-dessous:

innodb_adaptive_flushing_method = keep_average
innodb_flush_neighbor_pages = none
log_warnings_suppress = 1592
query_response_time_stats = 1

Editer 5:

Le problème semble être causé par: innodb_adaptive_flushing_method = keep_average, innodb_adaptive_flushing_method = estimate Stable

Editer 6:

Le problème semble être causé par: innodb_adaptive_flushing_method = keep_average, Mais uniquement sur Percona Server, Mariadb semble fonctionner stable (avec le même réglage)

L'étrange chose est que nous soyons capables d'importer les décharges très bien sur d'autres machines (plus lentes), les principales différences entre elles ont une piscine tampon plus petite (<= 12g), CPU moins puissante (Intel (R) Xeon (R) ) CPU E3-1246 V3 @ 3.50GHz ou Intel (R) CORE (TM) I7-3930K CPU @ 3.20GHz), un seul SSD (ou un logiciel RAID 1 avec 2).

Nous sommes vraiment curieux de savoir ce qui pourrait être la cause de ce problème.

Laurynas Biveinis · Accepted Answer

La cause première de ce problème est la régression Oracle MySQL dans 5.5.46/5.6.27 causée par le correctif pour http://bugs.mysql.com/bug.php?id = 76135 et Percona Server auront un correctif publié dès que possible (utilisation https://bugs.launchpad.net/bugs/1519094 pour le suivi).

EDIT: Le bogue Oracle pour ceci est https://bugs.mysql.com/bug.php?id=79185

Le réglage de rinçage adaptatif n'est pas en panne, même si certaines valeurs de ce paramètre sont plus susceptibles d'invoquer le bogue que d'autres. Mariashb n'est pas affecté, car ils ont fixé le problème sous-jacent plus tôt ( https://mariadb.atlassian.net/browse/mdev-7026 ).

Toute l'histoire est assez technique et a davantage à faire avec la programmation de systèmes de bas niveau plutôt qu'avec des bases de données en tant que telles. Le bogue 76135 est à propos de la primitive de Mutex InnoDB n'étant pas correcte pour ARM64. Cela a été corrigé en utilisant des barrières appropriées du compilateur garantissant une commande appropriée entre la charge/des magasins de mots mutex et la section critique protégée par ce mutex. Mais InnoDb Mutex est plus qu'un mot de verrouillage, et ces barrières sont devenues trop faibles pour commander des accès Word de verrouillage avec d'autres champs mutex. Ceci a été analysé pour la première fois par Kristian Nielsen de Mariadb et peut être lu à https://lists.launchpad.net/maria-developers/msg07860.html .

Stoleg · Answer

Il y a un problème connu lorsque certains résultats de la configuration de point de contrôle/de rinçage dans Stall. Voici une citation de la documentation de Percona 5.5 amélioration de l'évolutivité des E/S InnoDB :

Normalement, le point de contrôle est effectué passivement à la modification actuelle de la page la plus ancienne (ceci s'appelle "Fuzzy Checkpointing"). Lorsque l'âge de point de contrôle est proche de l'âge de point de contrôle maximum (déterminé par la longueur totale de tous les fichiers journaux de transaction), InnoDB tente de garder l'âge du point de contrôle loin du maximum en rinçant de nombreux blocs sales. Mais, s'il existe de nombreuses mises à jour par seconde et que de nombreux blocs ont presque le même âge de modification, l'énorme nombre de flushes peut provoquer des stalles.

[...]

garder_AOOver [2]: Cette méthode tente de conserver la constante de taux d'E/S en utilisant un cycle de boucle beaucoup plus court (0,1 seconde) que celui des autres méthodes (1,0 seconde). Il est conçu pour être utilisé avec des cartes SSD

keep_average est conçu pour être utilisé avec des cartes SSD plus rapides que les disques SSD. Dans votre cas InnoDB utilise un cycle très court pour revenir à des pages sales de chasse. Ensuite, selon Docs, trop de pages avec des horodatages très proches provoquent une congestion et une stalle. Sauf si vous utilisez des cartes SSD comme Fusion IO Vous ne devez pas utiliser ce paramètre.

J'espère que cela t'aides.

jynus · Answer

Ce n'est pas un comportement non normal, j'utilise régulièrement myDumper sous un matériel similaire (plus de mémoire, mais des disques pires) et qu'il n'a pas ce comportement (même si mes jeux de données sont 30x plus grand). Il y a beaucoup de choses que je n'aime pas sur votre configuration particulière (j'utiliserais au moins 5,6 pour une nouvelle installation, je me débarrasserais du Qcache, je définirais le RAID pour ré-retour -NOT WT, votre petite taille de la bande, désactivant la Journaux binaires pour le processus d'importation, en augmentant le bassin tampon et le journal des transactions s'il s'agit d'un matériel dédié, en lisant la lecture des threads IO lorsque vous utilisez ASYNC IO, ...) Mais tous ceux qui n'amélioreraient que la performance, pas tellement mauvais que c'est insupportable.

Malheureusement, il n'ya pas grand chose à dire sans avoir une console devant moi, sauf que vous devriez surveiller ce qui se passe au moment de l'importation (moniteur insertion, gestionnaires, statistiques innovées, matériel/stands d'exploitation potentielle). Peut-être vérifier que RAID n'est pas en mode d'apprentissage de la batterie. Il y a définitivement quelque chose qui ne va pas sur: DB Convention, Problèmes de disque? Essayez de faire une référence de vitesse de disque. Exécutez MyLoader avec la sortie Verbose. Essayez d'utiliser les commandes régulières: lsof, iotop, htop, vmstat, dmesg. Si tout échoue, utilisez Perf pour profiler votre mysqld binaire pour voir ce que vous gaspillez des cycles. Peut-être que vous surchargez la mémoire de fichier de fichiers en raison de flushlattxc = 2? Peut-être que vous échangez et vous n'avez pas compris cela? Vérifiez votre myDumper et votre version PS. Pourriez-vous rencontrer des problèmes avec async IO présents dans les noyaux plus âgés?

Désolé, il n'y a pas grand chose que je puisse faire d'ici.

greenlitmysql · Answer

Assurez-vous que vous avez: définir étrangers_key_checks = 0; SET SQL_LOG_BIN = 0; définir unique_checks = 0; Je désactiverais des journaux binaires pour l'instant. Éteignez les journaux de requête lentes. Si vous le pouvez, créez les index après la charge (le temps nécessaire au chargement des données dépend du nombre d'index que vous avez, le type d'indexé et le type de données. Le champ de texte (BLOB) prend beaucoup de temps à charger. Abaisser le nombre de threads.