erreur de segmentation - erreur 'mémoire non mappée' dans R
J'ai un problème avec l'exécution de scripts R sur notre cluster. Les problèmes sont apparus soudainement (tous les scripts fonctionnaient très bien, mais un jour ils ont commencé à donner une erreur caught segfault). Je ne peux pas fournir de code reproductible car je ne peux même pas reproduire l'erreur sur mon propre ordinateur - cela ne se produit que sur le cluster. J'utilise également le même code pour deux ensembles de données - l'un est assez petit et fonctionne bien, l'autre fonctionne avec des trames de données plus volumineuses (environ 10 millions de lignes) et est réduit à certains moments. J'utilise uniquement les packages du référentiel CRAN; R et tous les paquets doivent être à jour. L'erreur apparaît lors d'actions totalement indépendantes, voir les exemples ci-dessous:
Informations de session:
R version 3.4.3 (2017-11-30)
Platform: x86_64-redhat-linux-gnu (64-bit)
Running under: CentOS Linux 7 (Core)
Écriture d'une variable dans un fichier NetCDF
# code snippet
library(ncdf4)
library(reshape2)
input <- read.csv("input_file.csv")
species <- "no2"
dimX <- ncdim_def(name="x", units = "m", vals = unique(input$x), unlim = FALSE)
dimY <- ncdim_def(name="y", units = "m", vals = unique(input$y), unlim = FALSE)
dimTime <- ncdim_def(name = "time", units = "hours", unlim = TRUE)
varOutput <- ncvar_def(name = species, units = "ug/m3",
dim = list(dimX, dimY, dimTime), missval = -9999, longname = species)
nc_file <- nc_create(filename = "outFile.nc", vars = list(varOutput), force_v4 = T)
ncvar_put(nc = nc_file, varid = species, vals = acast(input, x~y), start = c(1,1,1),
count = c(length(unique(input$x)), length(unique(input$y)), 1))
À ce stade, j'obtiens l'erreur suivante:
*** caught segfault ***
address 0x2b607cac2000, cause 'memory not mapped'
Traceback:
1: id(rev(ids), drop = FALSE)
2: cast(data, formula, fun.aggregate, ..., subset = subset, fill = fill, drop = drop, value.var = value.var)
3: acast(result, x ~ y)
4: ncvar_put(nc = nc_file, varid = species, vals = acast(result, x ~ y), start = c(1, 1), count = c(length(unique(result$x)), length(unique(result$y))))
An irrecoverable exception occurred. R is aborting now ...
/opt/sge/default/spool/node10/job_scripts/122270: line 3: 13959 Segmentation fault (core dumped)
Code complexe avec calcul parallèle
*** caught segfault ***
address 0x330d39b40, cause 'memory not mapped'
Traceback:
1: .Call(gstat_fit_variogram, as.integer(fit.method), as.integer(fit.sills), as.integer(fit.ranges))
2: fit.variogram(experimental_variogram, model = vgm(psill = psill, model = model, range = range, nugget = nugget, kappa = kappa), fit.ranges = c(fit_range), fit.sills = c(fit_nugget, fit_sill), debug.level = 0)
3: doTryCatch(return(expr), name, parentenv, handler)
4: tryCatchOne(expr, names, parentenv, handlers[[1L]])
5: tryCatchList(expr, classes, parentenv, handlers)
6: tryCatch(expr, error = function(e) { call <- conditionCall(e) if (!is.null(call)) { if (identical(call[[1L]], quote(doTryCatch))) call <- sys.call(-4L) dcall <- deparse(call)[1L] prefix <- paste("Error in", dcall, ": ") LONG <- 75L msg <- conditionMessage(e) sm <- strsplit(msg, "\n")[[1L]] w <- 14L + nchar(dcall, type = "w") + nchar(sm[1L], type = "w") if (is.na(w)) w <- 14L + nchar(dcall, type = "b") + nchar(sm[1L], type = "b") if (w > LONG) prefix <- paste0(prefix, "\n ") } else prefix <- "Error : " msg <- paste0(prefix, conditionMessage(e), "\n") .Internal(seterrmessage(msg[1L])) if (!silent && identical(getOption("show.error.messages"), TRUE)) { cat(msg, file = outFile) .Internal(printDeferredWarnings()) } invisible(structure(msg, class = "try-error", condition = e))})
7: try(fit.variogram(experimental_variogram, model = vgm(psill = psill, model = model, range = range, nugget = nugget, kappa = kappa), fit.ranges = c(fit_range), fit.sills = c(fit_nugget, fit_sill), debug.level = 0), TRUE)
8: getModel(initial_sill - initial_nugget, m, initial_range, k, initial_nugget, fit_range, fit_sill, fit_nugget, verbose = verbose)
9: autofitVariogram(lmResids ~ 1, obsDf, model = "Mat", kappa = c(0.05, seq(0.2, 2, 0.1), 3, 5, 10, 15), fix.values = c(NA, NA, NA), start_vals = c(NA, NA, NA), verbose = F)
10: main_us(obsDf[obsDf$class == "rural" | obsDf$class == "rural-nearcity" | obsDf$class == "rural-regional" | obsDf$class == "rural-remote", ], grd_alt, grd_pop, lm_us, fitvar_us, logTransform, plots, "RuralSt", period, preds)
11: doTryCatch(return(expr), name, parentenv, handler)
12: tryCatchOne(expr, names, parentenv, handlers[[1L]])
13: tryCatchList(expr, classes, parentenv, handlers)
14: tryCatch(main_us(obsDf[obsDf$class == "rural" | obsDf$class == "rural-nearcity" | obsDf$class == "rural-regional" | obsDf$class == "rural-remote", ], grd_alt, grd_pop, lm_us, fitvar_us, logTransform, plots, "RuralSt", period, preds), error = function(e) e)
15: eval(.doSnowGlobals$expr, envir = .doSnowGlobals$exportenv)
16: eval(.doSnowGlobals$expr, envir = .doSnowGlobals$exportenv)
17: doTryCatch(return(expr), name, parentenv, handler)
18: tryCatchOne(expr, names, parentenv, handlers[[1L]])
19: tryCatchList(expr, classes, parentenv, handlers)
20: tryCatch(eval(.doSnowGlobals$expr, envir = .doSnowGlobals$exportenv), error = function(e) e)
21: (function (args) { lapply(names(args), function(n) assign(n, args[[n]], pos = .doSnowGlobals$exportenv)) tryCatch(eval(.doSnowGlobals$expr, envir = .doSnowGlobals$exportenv), error = function(e) e)})(quote(list(timeIndex = 255L)))
22: do.call(msg$data$fun, msg$data$args, quote = TRUE)
23: doTryCatch(return(expr), name, parentenv, handler)
24: tryCatchOne(expr, names, parentenv, handlers[[1L]])
25: tryCatchList(expr, classes, parentenv, handlers)
26: tryCatch(do.call(msg$data$fun, msg$data$args, quote = TRUE), error = handler)
27: doTryCatch(return(expr), name, parentenv, handler)
28: tryCatchOne(expr, names, parentenv, handlers[[1L]])
29: tryCatchList(expr, classes, parentenv, handlers)
30: tryCatch({ msg <- recvData(master) if (msg$type == "DONE") { closeNode(master) break } else if (msg$type == "EXEC") { success <- TRUE handler <- function(e) { success <<- FALSE structure(conditionMessage(e), class = c("snow-try-error", "try-error")) } t1 <- proc.time() value <- tryCatch(do.call(msg$data$fun, msg$data$args, quote = TRUE), error = handler) t2 <- proc.time() value <- list(type = "VALUE", value = value, success = success, time = t2 - t1, tag = msg$data$tag) msg <- NULL sendData(master, value) value <- NULL }}, interrupt = function(e) NULL)
31: slaveLoop(makeSOCKmaster(master, port, timeout, useXDR))
32: parallel:::.slaveRSOCK()
An irrecoverable exception occurred. R is aborting now ...
Est-il probable qu'il existe un problème avec le cluster plutôt que le code (ou R)? Je ne sais pas si cela pourrait être lié, mais depuis quelques temps, nous avons des messages d'erreur comme ceux-ci:
Message from syslogd@master1 at Mar 8 13:51:37 ...
kernel:[Hardware Error]: MC4 Error (node 1): DRAM ECC error detected on the NB.
Message from syslogd@master1 at Mar 8 13:51:37 ...
kernel:[Hardware Error]: Error Status: Corrected error, no action required.
Message from syslogd@master1 at Mar 8 13:51:37 ...
kernel:[Hardware Error]: CPU:4 (15:2:0) MC4_STATUS[-|CE|MiscV|-|AddrV|-|-|CECC]: 0x9c08400067080a13
Message from syslogd@master1 at Mar 8 13:51:37 ...
kernel:[Hardware Error]: MC4_ADDR: 0x000000048f32b490
Message from syslogd@master1 at Mar 8 13:51:37 ...
kernel:[Hardware Error]: cache level: L3/GEN, mem/io: MEM, mem-tx: RD, part-proc: RES (no timeout)
J'ai essayé de désinstaller et de réinstaller les paquetages basés sur cette question mais cela n'a pas aidé.
Ce n'est pas vraiment une explication du problème, ni une réponse satisfaisante, mais j'ai examiné les codes de plus près et compris que dans le premier exemple, le problème apparaît lors de l'utilisation de acast à partir du paquet reshape2. Je l'ai supprimé dans ce cas parce que je me suis rendu compte que ce n'était pas vraiment nécessaire, mais il peut être remplacé par reshape dans le paquetage reshape (comme indiqué dans une autre question ): reshape(input, idvar="x", timevar="y", direction="wide")[-1].
En ce qui concerne le deuxième exemple, il n’est pas facile de trouver la cause exacte du problème, mais une solution de contournement dans mon cas a permis de définir un nombre plus restreint de cœurs utilisés pour le calcul en parallèle - le cluster en compte 48, je n’en utilisais que 15 depuis avant même ce problème R manquait de mémoire si le code était exécuté avec les 48 cœurs. Lorsque j'ai réduit le nombre de cœurs à 10, il a soudainement fonctionné comme avant.
Le problème est une incompatibilité entre les bibliothèques partagées actuellement installées et les bibliothèques construites pour installer R ou des packages.
J'ai eu cette erreur pour la première fois aujourd'hui. Voir ci-dessous. Je l'ai résolu, peut expliquer la situation.
Il s’agit d’un système Ubuntu récemment mis à niveau du 17.10 au 18.04, fonctionnant sous R-3.4.4. Beaucoup de bibliothèques C et C++ ont été remplacées. Mais tous les programmes n'ont pas été remplacés. Immédiatement, j'ai remarqué que de nombreux programmes présentaient des erreurs de segmentation. Tout ce qui touchait la bonne place était un échec. Le package stringi n'a pas pu trouver les bibliothèques partagées avec lesquelles il a été compilé.
L'exemple ici est un peu intéressant car cela se produit lors de l'exécution de la "vérification R CMD" d'un paquet, qui devrait, du moins en théorie, être sûr. J'ai trouvé le correctif était de supprimer les paquets "RCurl" et "url" et de les reconstruire.
Voici le symptôme, de toute façon
* checking for file ‘kutils.gitex/DESCRIPTION’ ... OK
* preparing ‘kutils’:
* checking DESCRIPTION meta-information ... OK
* installing the package to build vignettes
* creating vignettes ... OK
* checking for LF line-endings in source and make files and Shell scripts
* checking for empty or unneeded directories
* looking to see if a ‘data/datalist’ file should be added
* re-saving image files
* building ‘kutils_1.40.tar.gz’
Warning: invalid uid value replaced by that for user 'nobody'
Warning: invalid gid value replaced by that for user 'nobody'
Run check: OK? (y or n)y
* using log directory ‘/home/pauljohn/GIT/CRMDA/software/kutils/package/kutils.Rcheck’
* using R version 3.4.4 (2018-03-15)
* using platform: x86_64-pc-linux-gnu (64-bit)
* using session charset: UTF-8
* using option ‘--as-cran’
* checking for file ‘kutils/DESCRIPTION’ ... OK
* checking extension type ... Package
* this is package ‘kutils’ version ‘1.40’
* checking CRAN incoming feasibility ...
*** caught segfault ***
address 0x68456, cause 'memory not mapped'
Traceback:
1: curlGetHeaders(u)
2: doTryCatch(return(expr), name, parentenv, handler)
3: tryCatchOne(expr, names, parentenv, handlers[[1L]])
4: tryCatchList(expr, classes, parentenv, handlers)
5: tryCatch(curlGetHeaders(u), error = identity)
6: .fetch(u)
7: .check_http_A(u)
8: FUN(X[[i]], ...)
9: lapply(urls[pos], .check_http)
10: do.call(rbind, lapply(urls[pos], .check_http))
11: check_url_db(url_db_from_package_sources(dir), remote = !localOnly)
12: doTryCatch(return(expr), name, parentenv, handler)
13: tryCatchOne(expr, names, parentenv, handlers[[1L]])
14: tryCatchList(expr, classes, parentenv, handlers)
15: tryCatch(check_url_db(url_db_from_package_sources(dir), remote = !localOnly), error = identity)
16: .check_package_CRAN_incoming(pkgdir, localOnly)
17: check_CRAN_incoming(!check_incoming_remote)
18: tools:::.check_packages()
An irrecoverable exception occurred. R is aborting now ...
Segmentation fault
Il est fortement recommandé de nettoyer l’espace de travail, c’est probablement le problème principal:
unlink(".RData")