web-dev-qa-db-fra.com

Définissez certaines valeurs sur NA avec dplyr

J'essaie de trouver un moyen simple de faire quelque chose comme ceci avec dplyr (ensemble de données = dat, variable = x):

day$x[dat$x<0]=NA

Cela devrait être simple, mais c’est le mieux que je puisse faire pour le moment. Y a-t-il un moyen plus facile?

dat =  dat %>% mutate(x=ifelse(x<0,NA,x))
rdplyr
52
Glen

Vous pouvez utiliser replace qui est un peu plus rapide que ifelse:

dat <-  dat %>% mutate(x = replace(x, x<0, NA))

Vous pouvez accélérer un peu plus en fournissant un index à replace en utilisant which:

dat <- dat %>% mutate(x = replace(x, which(x<0L), NA))

Sur ma machine, le temps a été réduit d’un tiers, voir ci-dessous.

Voici une petite comparaison des différentes réponses, qui n'est qu'indicative bien sûr:

set.seed(24)
dat <- data.frame(x=rnorm(1e6))
system.time(dat %>% mutate(x = replace(x, x<0, NA)))
       User      System     elapsed
       0.03        0.00        0.03 
system.time(dat %>% mutate(x=ifelse(x<0,NA,x)))
       User      System     elapsed
       0.30        0.00        0.29 
system.time(setDT(dat)[x<0,x:=NA])
       User      System     elapsed
       0.01        0.00        0.02 
system.time(dat$x[dat$x<0] <- NA)
       User      System     elapsed
       0.03        0.00        0.03 
system.time(dat %>% mutate(x = "is.na<-"(x, x < 0)))
       User      System     elapsed
       0.05        0.00        0.05 
system.time(dat %>% mutate(x = NA ^ (x < 0) * x))
       User      System     elapsed
       0.01        0.00        0.02 
system.time(dat %>% mutate(x = replace(x, which(x<0), NA)))
       User      System     elapsed
       0.01        0.00        0.01

(J'utilise dplyr_0.3.0.2 et data.table_1.9.4)

Étant donné que nous sommes toujours très intéressés par l'analyse comparative, en particulier au cours des discussions data.table-vs-dplyr, je fournis une autre analyse comparative de trois des réponses à l'aide de microbenchmark et des données de akrun. Notez que j'ai modifié dplyr1 être la version mise à jour de ma réponse:

set.seed(285)
dat1 <- dat <- data.frame(x=sample(-5:5, 1e8, replace=TRUE), y=rnorm(1e8))
dtbl1 <- function() {setDT(dat)[x<0,x:=NA]}
dplr1 <- function() {dat1 %>% mutate(x = replace(x, which(x<0L), NA))}
dplr2 <- function() {dat1 %>% mutate(x = NA ^ (x < 0) * x)}
microbenchmark(dtbl1(), dplr1(), dplr2(), unit='relative', times=20L)
#Unit: relative
#    expr      min       lq   median       uq      max neval
# dtbl1() 1.091208 4.319863 4.194086 4.162326 4.252482    20
# dplr1() 1.000000 1.000000 1.000000 1.000000 1.000000    20
# dplr2() 6.251354 5.529948 5.344294 5.311595 5.190192    20
89
docendo discimus

Vous pouvez utiliser le is.na<- une fonction:

dat %>% mutate(x = "is.na<-"(x, x < 0))

Ou vous pouvez utiliser des opérateurs mathématiques:

dat %>% mutate(x = NA ^ (x < 0) * x)
14
Sven Hohenstein

Si vous utilisez data.table, le code ci-dessous est plus rapide

library(data.table)
setDT(dat)[x<0,x:=NA]

Des repères

En utilisant data.table_1.9.5 et dplyr_0.3.0.9000

library(microbenchmark)
set.seed(285)
dat <- data.frame(x=sample(-5:5, 1e7, replace=TRUE), y=rnorm(1e7))

dtbl1 <- function() {as.data.table(dat)[x<0,x:=NA]}
dplr1 <- function() {dat %>% mutate(x = replace(x, x<0, NA))}

microbenchmark(dtbl1(), dplr1(), unit='relative', times=20L)
#Unit: relative
#expr     min       lq     mean   median       uq      max neval cld
#dtbl1() 1.00000 1.000000 1.000000 1.000000 1.000000 1.000000    20  a 
#dplr1() 2.06654 2.064405 1.927762 1.795962 1.881821 1.885655    20   b

Benchmarks mis à jour

En utilisant data.table_1.9.5 et dplyr_0.4.0. J'ai utilisé un ensemble de données légèrement plus grand et j'ai remplacé as.data.table avec setDT (la fonction plus rapide de @Sven Hohenstein est également incluse.)

set.seed(285)
dat <- data.frame(x=sample(-5:5, 1e8, replace=TRUE), y=rnorm(1e8))
dat1 <- copy(dat)
dtbl1 <- function() {setDT(dat)[x<0,x:=NA]}
dplr1 <- function() {dat1 %>% mutate(x = replace(x, x<0, NA))}
dplr2 <- function() {dat1 %>% mutate(x = NA ^ (x < 0) * x)} 

microbenchmark(dtbl1(), dplr1(), dplr2(), unit='relative', times=20L)
#Unit: relative
#  expr      min       lq     mean   median       uq      max neval cld
#dtbl1() 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000    20  a 
#dplr1() 2.523945 2.542412 2.536255 2.579379 2.518336 2.486757    20   b
#dplr2() 1.139216 1.089992 1.088753 1.058653 1.093906 1.100690    20  a

Benchmarks mis à jour2

À la demande de @docendo discimus, il compare à nouveau sa "nouvelle" version de dplyrusing data.table_1.9.5 et dplyr_0.4.0.

NOTE: En raison d’une modification apportée au code @docendo discimus, j’ai modifié 0 à 0L pour le data.table`

set.seed(285)
dat <- data.frame(x=sample(-5:5, 1e8, replace=TRUE), y=rnorm(1e8))
dat1 <- copy(dat)
dtbl1 <- function() {setDT(dat)[x<0L, x:= NA]}
dplr1 <- function() {dat1 %>% mutate(x = replace(x, which(x<0L), NA))}
dplr2 <- function() {dat1 %>% mutate(x = NA ^ (x < 0) * x)} 

microbenchmark(dtbl1(), dplr1(), dplr2(), unit='relative', times=20L)
#Unit: relative
#expr      min       lq     mean   median       uq      max neval cld
#dtbl1() 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000    20 a  
#dplr1() 2.186055 2.183432 2.142293 2.222458 2.194450 1.442444    20  b 
#dplr2() 2.919854 2.925795 2.852528 2.942700 2.954657 1.904249    20   c

les données

set.seed(24)
dat <- data.frame(x=sample(-5:5, 25, replace=TRUE), y=rnorm(25))
7
akrun

L'approche la plus naturelle dans dplyr consiste à utiliser la fonction na_if.

Pour une variable:

dat %<>% mutate(x = na_if(x, x < 0))

Pour toutes les variables:

dat %<>% mutate_all(~ na_if(., . < 0))

Si vous souhaitez remplacer une valeur spécifique au lieu d'une plage pour toutes les variables:

dat %<>% mutate_all(na_if, 0)

Notez que j'utilise l'opérateur %<>% Du package magrittr.

2
Stelios Serghiou