Étant donné deux trames de données:
df1 = data.frame(CustomerId = c(1:6), Product = c(rep("Toaster", 3), rep("Radio", 3)))
df2 = data.frame(CustomerId = c(2, 4, 6), State = c(rep("Alabama", 2), rep("Ohio", 1)))
df1
# CustomerId Product
# 1 Toaster
# 2 Toaster
# 3 Toaster
# 4 Radio
# 5 Radio
# 6 Radio
df2
# CustomerId State
# 2 Alabama
# 4 Alabama
# 6 Ohio
Comment puis-je faire le style de base de données, c'est-à-dire, style SQL, rejoint ? Comment puis-je obtenir:
df1
et df2
:df1
et df2
:df1
et df2
df1
et df2
Crédit supplémentaire:
Comment puis-je faire une instruction select de style SQL?
En utilisant la fonction merge
et ses paramètres facultatifs:
Jointure interne: merge(df1, df2)
fonctionnera pour ces exemples car R joint automatiquement les cadres par des noms de variables communs, mais il est fort probable que vous voulez spécifier merge(df1, df2, by = "CustomerId")
pour vous assurer que vous ne faites correspondre que les champs souhaités. Vous pouvez également utiliser les paramètres by.x
et by.y
si les variables correspondantes ont des noms différents dans les différentes trames de données.
Jointure externe: merge(x = df1, y = df2, by = "CustomerId", all = TRUE)
Extérieur gauche: merge(x = df1, y = df2, by = "CustomerId", all.x = TRUE)
extérieur droit: merge(x = df1, y = df2, by = "CustomerId", all.y = TRUE)
Cross join: merge(x = df1, y = df2, by = NULL)
Tout comme pour la jointure interne, vous voudrez probablement explicitement passer "CustomerId" à R en tant que variable correspondante. Je pense qu'il est presque toujours préférable d'indiquer explicitement les identifiants sur lesquels vous souhaitez fusionner; il est plus sûr que les data.frames en entrée changent de manière inattendue et soient plus faciles à lire plus tard.
Vous pouvez fusionner plusieurs colonnes en donnant à by
un vecteur, par exemple by = c("CustomerId", "OrderId")
.
Si les noms de colonne à fusionner ne sont pas identiques, vous pouvez spécifier, par exemple, by.x = "CustomerId_in_df1", by.y = "CustomerId_in_df2"
où CustomerId_in_df1
est le nom de la colonne du premier bloc de données et CustomerId_in_df2
est le nom de la colonne dans la deuxième trame de données. (Ceux-ci peuvent également être des vecteurs si vous devez fusionner plusieurs colonnes.)
Je recommanderais de vérifier paquet sqldf de Gabor Grothendieck , ce qui vous permet d'exprimer ces opérations en SQL.
library(sqldf)
## inner join
df3 <- sqldf("SELECT CustomerId, Product, State
FROM df1
JOIN df2 USING(CustomerID)")
## left join (substitute 'right' for right join)
df4 <- sqldf("SELECT CustomerId, Product, State
FROM df1
LEFT JOIN df2 USING(CustomerID)")
Je trouve la syntaxe SQL plus simple et plus naturelle que son équivalent R (mais cela ne reflète que mon biais RDBMS).
Voir Gabor's sqldf GitHub pour plus d'informations sur les jointures.
Il y a l'approche data.table pour une jointure interne, qui consomme très peu de temps et de mémoire (et est nécessaire pour certaines data.frames plus grandes):
library(data.table)
dt1 <- data.table(df1, key = "CustomerId")
dt2 <- data.table(df2, key = "CustomerId")
joined.dt1.dt.2 <- dt1[dt2]
merge
fonctionne aussi sur data.tables (comme c'est générique et appelle merge.data.table
)
merge(dt1, dt2)
data.table documenté sur stackoverflow:
Comment effectuer une opération de fusion data.table
Conversion de jointures SQL sur des clés étrangères en syntaxe R data.table
Alternatives efficaces à la fusion pour des données plus grandes. R
Comment faire une jointure externe gauche avec data.table dans R?
Une autre option est la fonction join
trouvée dans le package plyr
library(plyr)
join(df1, df2,
type = "inner")
# CustomerId Product State
# 1 2 Toaster Alabama
# 2 4 Radio Alabama
# 3 6 Radio Ohio
Options pour type
: inner
, left
, right
, full
.
De ?join
: Contrairement à merge
, [join
] préserve l'ordre de x quel que soit le type de jointure utilisé.
Vous pouvez également faire des jointures en utilisant le paquet génial dplyr de Hadley Wickham.
library(dplyr)
#make sure that CustomerId cols are both type numeric
#they ARE not using the provided code in question and dplyr will complain
df1$CustomerId <- as.numeric(df1$CustomerId)
df2$CustomerId <- as.numeric(df2$CustomerId)
#inner
inner_join(df1, df2)
#left outer
left_join(df1, df2)
#right outer
right_join(df1, df2)
#alternate right outer
left_join(df2, df1)
#full join
full_join(df1, df2)
semi_join(df1, df2) #keep only observations in df1 that match in df2.
anti_join(df1, df2) #drops all observations in df1 that match in df2.
Il y a quelques bons exemples de ce faire sur le Wiki R . Je vais voler un couple ici:
Méthode de fusion
Comme vos clés portent le même nom, la méthode la plus simple pour effectuer une jointure interne est merge ():
merge(df1,df2)
une jointure interne complète (tous les enregistrements des deux tables) peut être créée avec le mot clé "all":
merge(df1,df2, all=TRUE)
une jointure externe gauche de df1 et df2:
merge(df1,df2, all.x=TRUE)
une jointure externe droite de df1 et df2:
merge(df1,df2, all.y=TRUE)
vous pouvez les retourner, les gifler et les frotter pour obtenir les deux autres jointures externes sur lesquelles vous avez posé des questions :)
Méthode de l'indice
Une jointure externe gauche avec df1 à gauche à l'aide d'une méthode en indice serait:
df1[,"State"]<-df2[df1[ ,"Product"], "State"]
L’autre combinaison de jointures externes peut être créée en sélectionnant l’exemple de jointure externe gauche. (ouais, je sais que c'est l'équivalent de dire "je vais laisser ça comme un exercice pour le lecteur ...")
Nouveau en 2014:
Surtout si vous êtes également intéressé par la manipulation des données en général (tri, filtrage, sous-ensemble, synthèse, etc.), vous devez absolument jeter un oeil à dplyr
, qui comprend une variété de fonctions conçues pour faciliter votre fonctionne spécifiquement avec les trames de données et certains autres types de bases de données. Il offre même une interface SQL assez élaborée et même une fonction permettant de convertir le code (le plus) SQL directement en R.
Les quatre fonctions liées à la jonction dans le package dplyr sont (pour citer):
inner_join(x, y, by = NULL, copy = FALSE, ...)
: renvoie toutes les lignes de x où il y a des valeurs correspondantes dans y et toutes les colonnes de x et yleft_join(x, y, by = NULL, copy = FALSE, ...)
: renvoie toutes les lignes de x et toutes les colonnes de x et ysemi_join(x, y, by = NULL, copy = FALSE, ...)
: renvoie toutes les lignes de x où il y a des valeurs correspondantes dans y, en ne conservant que les colonnes de x.anti_join(x, y, by = NULL, copy = FALSE, ...)
: renvoie toutes les lignes de x où il n'y a pas de valeurs correspondantes dans y, en ne conservant que les colonnes de xC'est tout ici en détail.
La sélection des colonnes peut être effectuée à l'aide de select(df,"column")
. Si cela ne vous suffit pas, voici la fonction sql()
, dans laquelle vous pouvez entrer le code SQL tel quel, et elle effectuera l'opération que vous avez spécifiée comme si vous écriviez tout le temps en R (pour Pour plus d’informations, veuillez vous référer à la vignette dplyr/database ). Par exemple, s'il est appliqué correctement, sql("SELECT * FROM hflights")
sélectionnera toutes les colonnes de la table "hflights" (un "tbl").
Mise à jour sur les méthodes data.table pour joindre des ensembles de données. Voir ci-dessous des exemples pour chaque type de jointure. Il existe deux méthodes, l'une de [.data.table
lors du passage du second argument data.table au premier argument du sous-ensemble, une autre méthode consiste à utiliser la fonction merge
qui envoie le message à la méthode fast data.table.
df1 = data.frame(CustomerId = c(1:6), Product = c(rep("Toaster", 3), rep("Radio", 3)))
df2 = data.frame(CustomerId = c(2L, 4L, 7L), State = c(rep("Alabama", 2), rep("Ohio", 1))) # one value changed to show full outer join
library(data.table)
dt1 = as.data.table(df1)
dt2 = as.data.table(df2)
setkey(dt1, CustomerId)
setkey(dt2, CustomerId)
# right outer join keyed data.tables
dt1[dt2]
setkey(dt1, NULL)
setkey(dt2, NULL)
# right outer join unkeyed data.tables - use `on` argument
dt1[dt2, on = "CustomerId"]
# left outer join - swap dt1 with dt2
dt2[dt1, on = "CustomerId"]
# inner join - use `nomatch` argument
dt1[dt2, nomatch=NULL, on = "CustomerId"]
# anti join - use `!` operator
dt1[!dt2, on = "CustomerId"]
# inner join - using merge method
merge(dt1, dt2, by = "CustomerId")
# full outer join
merge(dt1, dt2, by = "CustomerId", all = TRUE)
# see ?merge.data.table arguments for other cases
En dessous des tests de référence, base R, sqldf, dplyr et data.table.
Benchmark teste des ensembles de données non clés/non indexées. L'analyse comparative est effectuée sur des ensembles de données de lignes 50M-1. Il existe des valeurs communes 50M-2 sur la colonne de jointure afin que chaque scénario (interne, gauche, droit, complet) puisse être testé et que la jointure ne soit toujours pas triviale. C'est le type de jointure qui sollicite les algorithmes de jointure. Les horaires sont à partir de sqldf:0.4.11
, dplyr:0.7.8
, data.table:1.12.0
.
# inner
Unit: seconds
expr min lq mean median uq max neval
base 111.66266 111.66266 111.66266 111.66266 111.66266 111.66266 1
sqldf 624.88388 624.88388 624.88388 624.88388 624.88388 624.88388 1
dplyr 51.91233 51.91233 51.91233 51.91233 51.91233 51.91233 1
DT 10.40552 10.40552 10.40552 10.40552 10.40552 10.40552 1
# left
Unit: seconds
expr min lq mean median uq max
base 142.782030 142.782030 142.782030 142.782030 142.782030 142.782030
sqldf 613.917109 613.917109 613.917109 613.917109 613.917109 613.917109
dplyr 49.711912 49.711912 49.711912 49.711912 49.711912 49.711912
DT 9.674348 9.674348 9.674348 9.674348 9.674348 9.674348
# right
Unit: seconds
expr min lq mean median uq max
base 122.366301 122.366301 122.366301 122.366301 122.366301 122.366301
sqldf 611.119157 611.119157 611.119157 611.119157 611.119157 611.119157
dplyr 50.384841 50.384841 50.384841 50.384841 50.384841 50.384841
DT 9.899145 9.899145 9.899145 9.899145 9.899145 9.899145
# full
Unit: seconds
expr min lq mean median uq max neval
base 141.79464 141.79464 141.79464 141.79464 141.79464 141.79464 1
dplyr 94.66436 94.66436 94.66436 94.66436 94.66436 94.66436 1
DT 21.62573 21.62573 21.62573 21.62573 21.62573 21.62573 1
Sachez qu'il existe d'autres types de jointures que vous pouvez effectuer à l'aide de data.table
:
- pdate on join - si vous souhaitez rechercher les valeurs d'une autre table dans votre table principale
- agrégation sur jointure - si vous voulez agréger sur une clé que vous joignez, vous n'avez pas à matérialiser tous les résultats de jointure
- jointure superposée - si vous souhaitez fusionner par plages
- jointure progressive - si vous souhaitez que la fusion soit capable de faire correspondre les valeurs des lignes précédentes/suivantes en les faisant avancer ou en les inversant
- jointure non-equi - si votre condition de jointure n'est pas égale
Code à reproduire:
library(microbenchmark)
library(sqldf)
library(dplyr)
library(data.table)
sapply(c("sqldf","dplyr","data.table"), packageVersion, simplify=FALSE)
n = 5e7
set.seed(108)
df1 = data.frame(x=sample(n,n-1L), y1=rnorm(n-1L))
df2 = data.frame(x=sample(n,n-1L), y2=rnorm(n-1L))
dt1 = as.data.table(df1)
dt2 = as.data.table(df2)
mb = list()
# inner join
microbenchmark(times = 1L,
base = merge(df1, df2, by = "x"),
sqldf = sqldf("SELECT * FROM df1 INNER JOIN df2 ON df1.x = df2.x"),
dplyr = inner_join(df1, df2, by = "x"),
DT = dt1[dt2, nomatch=NULL, on = "x"]) -> mb$inner
# left outer join
microbenchmark(times = 1L,
base = merge(df1, df2, by = "x", all.x = TRUE),
sqldf = sqldf("SELECT * FROM df1 LEFT OUTER JOIN df2 ON df1.x = df2.x"),
dplyr = left_join(df1, df2, by = c("x"="x")),
DT = dt2[dt1, on = "x"]) -> mb$left
# right outer join
microbenchmark(times = 1L,
base = merge(df1, df2, by = "x", all.y = TRUE),
sqldf = sqldf("SELECT * FROM df2 LEFT OUTER JOIN df1 ON df2.x = df1.x"),
dplyr = right_join(df1, df2, by = "x"),
DT = dt1[dt2, on = "x"]) -> mb$right
# full outer join
microbenchmark(times = 1L,
base = merge(df1, df2, by = "x", all = TRUE),
dplyr = full_join(df1, df2, by = "x"),
DT = merge(dt1, dt2, by = "x", all = TRUE)) -> mb$full
lapply(mb, print) -> nul
dplyr depuis 0.4 implémentait toutes ces jointures, y compris outer_join
, mais il était intéressant de noter que pour les premières versions antérieures à la version 0.4, il n'utilisait pas outer_join
, et En conséquence, il y avait beaucoup de très mauvais code utilisateur de contournement hacky qui flottait pendant un bon bout de temps (vous pouvez toujours trouver ce code dans SO, Kaggle répond, github de cette période. Cette réponse est donc toujours utile.)
Jointure liée mise en évidence de la publication :
v0.1.3 (4/2014)
Solutions de contournement par les commentaires de Hadley dans ce numéro:
En joignant deux trames de données contenant environ 1 million de lignes chacune, l’une avec 2 colonnes et l’autre avec ~ 20, j’ai trouvé de façon surprenante que merge(..., all.x = TRUE, all.y = TRUE)
était plus rapide que dplyr::full_join()
. C'est avec dplyr v0.4
La fusion prend environ 17 secondes, full_join prend environ 65 secondes.
Un peu de nourriture pour cependant, car je passe généralement par défaut à dplyr pour les tâches de manipulation.
Dans le cas d'une jointure gauche avec une cardinalité 0..*:0..1
ou d'une jointure droite avec une cardinalité 0..1:0..*
, il est possible d'affecter en place les colonnes unilatérales de la jointure (la table 0..1
directement sur la joinee (la table 0..*
) et ainsi éviter la création d’une table de données entièrement nouvelle. Cela nécessite de faire correspondre les colonnes de clé de la joinee avec le menuisier et d'indexer + de classer les lignes du meneur en conséquence pour l'affectation.
Si la clé est une colonne unique, nous pouvons utiliser un seul appel à match()
pour faire la correspondance. C'est le cas que je couvrirai dans cette réponse.
Voici un exemple basé sur l'OP, sauf que j'ai ajouté une ligne supplémentaire à df2
avec un identifiant égal à 7 pour tester la casse d'une clé non correspondante dans le menuisier. Il s’agit bien de df1
joint gauche df2
:
df1 <- data.frame(CustomerId=1:6,Product=c(rep('Toaster',3L),rep('Radio',3L)));
df2 <- data.frame(CustomerId=c(2L,4L,6L,7L),State=c(rep('Alabama',2L),'Ohio','Texas'));
df1[names(df2)[-1L]] <- df2[match(df1[,1L],df2[,1L]),-1L];
df1;
## CustomerId Product State
## 1 1 Toaster <NA>
## 2 2 Toaster Alabama
## 3 3 Toaster <NA>
## 4 4 Radio Alabama
## 5 5 Radio <NA>
## 6 6 Radio Ohio
Dans ce qui précède, j'ai codé en dur une hypothèse selon laquelle la colonne clé est la première colonne des deux tables d'entrée. Je dirais que, en général, ce n’est pas une hypothèse déraisonnable, car si vous avez un data.frame avec une colonne clé, il serait étrange de ne pas l’avoir défini comme première colonne du data.frame de Le début. Et vous pouvez toujours réorganiser les colonnes pour qu'il en soit ainsi. Une conséquence avantageuse de cette hypothèse est que le nom de la colonne de clé ne doit pas nécessairement être codé en dur, bien que je suppose qu'il ne fait que remplacer une hypothèse par une autre. La concision est un autre avantage de l'indexation d'entiers, ainsi que de la vitesse. Dans les tests ci-dessous, je modifierai l'implémentation pour utiliser l'indexation des noms de chaîne afin de correspondre aux implémentations concurrentes.
Je pense que c'est une solution particulièrement appropriée si vous voulez laisser plusieurs tables se joindre à une seule grande table. Reconstruire à plusieurs reprises la table entière pour chaque fusion serait inutile et inefficace.
Par contre, si vous avez besoin que la joinee reste inchangée lors de cette opération pour une raison quelconque, cette solution ne peut pas être utilisée, car elle modifie directement la joinee. Bien que dans ce cas, vous pouvez simplement faire une copie et effectuer la ou les assignations sur place sur la copie.
En remarque, j’ai brièvement examiné les solutions possibles d’appariement des clés multicolonnes. Malheureusement, les seules solutions correspondantes que j'ai trouvées étaient les suivantes:
match(interaction(df1$a,df1$b),interaction(df2$a,df2$b))
, ou la même idée avec paste()
.outer(df1$a,df2$a,`==`) & outer(df1$b,df2$b,`==`)
.merge()
et fonctions de fusion équivalentes basées sur les packages, qui allouent toujours une nouvelle table pour renvoyer le résultat fusionné et ne sont donc pas adaptées à une solution basée sur des affectations sur place.Par exemple, voir Correspondance de plusieurs colonnes sur différents cadres de données et obtention d'une autre colonne comme résultat , correspond à deux colonnes avec deux autres colonnes , Correspondance sur plusieurs colonnes =, et le dupe de cette question où je trouvais initialement la solution sur place, Combinez deux trames de données avec un nombre différent de lignes dans R .
J'ai décidé de faire ma propre analyse comparative pour voir comment l'approche d'attribution sur place se compare aux autres solutions proposées dans cette question.
Code de test:
library(microbenchmark);
library(data.table);
library(sqldf);
library(plyr);
library(dplyr);
solSpecs <- list(
merge=list(testFuncs=list(
inner=function(df1,df2,key) merge(df1,df2,key),
left =function(df1,df2,key) merge(df1,df2,key,all.x=T),
right=function(df1,df2,key) merge(df1,df2,key,all.y=T),
full =function(df1,df2,key) merge(df1,df2,key,all=T)
)),
data.table.unkeyed=list(argSpec='data.table.unkeyed',testFuncs=list(
inner=function(dt1,dt2,key) dt1[dt2,on=key,nomatch=0L,allow.cartesian=T],
left =function(dt1,dt2,key) dt2[dt1,on=key,allow.cartesian=T],
right=function(dt1,dt2,key) dt1[dt2,on=key,allow.cartesian=T],
full =function(dt1,dt2,key) merge(dt1,dt2,key,all=T,allow.cartesian=T) ## calls merge.data.table()
)),
data.table.keyed=list(argSpec='data.table.keyed',testFuncs=list(
inner=function(dt1,dt2) dt1[dt2,nomatch=0L,allow.cartesian=T],
left =function(dt1,dt2) dt2[dt1,allow.cartesian=T],
right=function(dt1,dt2) dt1[dt2,allow.cartesian=T],
full =function(dt1,dt2) merge(dt1,dt2,all=T,allow.cartesian=T) ## calls merge.data.table()
)),
sqldf.unindexed=list(testFuncs=list( ## note: must pass connection=NULL to avoid running against the live DB connection, which would result in collisions with the residual tables from the last query upload
inner=function(df1,df2,key) sqldf(paste0('select * from df1 inner join df2 using(',paste(collapse=',',key),')'),connection=NULL),
left =function(df1,df2,key) sqldf(paste0('select * from df1 left join df2 using(',paste(collapse=',',key),')'),connection=NULL),
right=function(df1,df2,key) sqldf(paste0('select * from df2 left join df1 using(',paste(collapse=',',key),')'),connection=NULL) ## can't do right join proper, not yet supported; inverted left join is equivalent
##full =function(df1,df2,key) sqldf(paste0('select * from df1 full join df2 using(',paste(collapse=',',key),')'),connection=NULL) ## can't do full join proper, not yet supported; possible to hack it with a union of left joins, but too unreasonable to include in testing
)),
sqldf.indexed=list(testFuncs=list( ## important: requires an active DB connection with preindexed main.df1 and main.df2 ready to go; arguments are actually ignored
inner=function(df1,df2,key) sqldf(paste0('select * from main.df1 inner join main.df2 using(',paste(collapse=',',key),')')),
left =function(df1,df2,key) sqldf(paste0('select * from main.df1 left join main.df2 using(',paste(collapse=',',key),')')),
right=function(df1,df2,key) sqldf(paste0('select * from main.df2 left join main.df1 using(',paste(collapse=',',key),')')) ## can't do right join proper, not yet supported; inverted left join is equivalent
##full =function(df1,df2,key) sqldf(paste0('select * from main.df1 full join main.df2 using(',paste(collapse=',',key),')')) ## can't do full join proper, not yet supported; possible to hack it with a union of left joins, but too unreasonable to include in testing
)),
plyr=list(testFuncs=list(
inner=function(df1,df2,key) join(df1,df2,key,'inner'),
left =function(df1,df2,key) join(df1,df2,key,'left'),
right=function(df1,df2,key) join(df1,df2,key,'right'),
full =function(df1,df2,key) join(df1,df2,key,'full')
)),
dplyr=list(testFuncs=list(
inner=function(df1,df2,key) inner_join(df1,df2,key),
left =function(df1,df2,key) left_join(df1,df2,key),
right=function(df1,df2,key) right_join(df1,df2,key),
full =function(df1,df2,key) full_join(df1,df2,key)
)),
in.place=list(testFuncs=list(
left =function(df1,df2,key) { cns <- setdiff(names(df2),key); df1[cns] <- df2[match(df1[,key],df2[,key]),cns]; df1; },
right=function(df1,df2,key) { cns <- setdiff(names(df1),key); df2[cns] <- df1[match(df2[,key],df1[,key]),cns]; df2; }
))
);
getSolTypes <- function() names(solSpecs);
getJoinTypes <- function() unique(unlist(lapply(solSpecs,function(x) names(x$testFuncs))));
getArgSpec <- function(argSpecs,key=NULL) if (is.null(key)) argSpecs$default else argSpecs[[key]];
initSqldf <- function() {
sqldf(); ## creates sqlite connection on first run, cleans up and closes existing connection otherwise
if (exists('sqldfInitFlag',envir=globalenv(),inherits=F) && sqldfInitFlag) { ## false only on first run
sqldf(); ## creates a new connection
} else {
assign('sqldfInitFlag',T,envir=globalenv()); ## set to true for the one and only time
}; ## end if
invisible();
}; ## end initSqldf()
setUpBenchmarkCall <- function(argSpecs,joinType,solTypes=getSolTypes(),env=parent.frame()) {
## builds and returns a list of expressions suitable for passing to the list argument of microbenchmark(), and assigns variables to resolve symbol references in those expressions
callExpressions <- list();
nms <- character();
for (solType in solTypes) {
testFunc <- solSpecs[[solType]]$testFuncs[[joinType]];
if (is.null(testFunc)) next; ## this join type is not defined for this solution type
testFuncName <- paste0('tf.',solType);
assign(testFuncName,testFunc,envir=env);
argSpecKey <- solSpecs[[solType]]$argSpec;
argSpec <- getArgSpec(argSpecs,argSpecKey);
argList <- setNames(nm=names(argSpec$args),vector('list',length(argSpec$args)));
for (i in seq_along(argSpec$args)) {
argName <- paste0('tfa.',argSpecKey,i);
assign(argName,argSpec$args[[i]],envir=env);
argList[[i]] <- if (i%in%argSpec$copySpec) call('copy',as.symbol(argName)) else as.symbol(argName);
}; ## end for
callExpressions[[length(callExpressions)+1L]] <- do.call(call,c(list(testFuncName),argList),quote=T);
nms[length(nms)+1L] <- solType;
}; ## end for
names(callExpressions) <- nms;
callExpressions;
}; ## end setUpBenchmarkCall()
harmonize <- function(res) {
res <- as.data.frame(res); ## coerce to data.frame
for (ci in which(sapply(res,is.factor))) res[[ci]] <- as.character(res[[ci]]); ## coerce factor columns to character
for (ci in which(sapply(res,is.logical))) res[[ci]] <- as.integer(res[[ci]]); ## coerce logical columns to integer (works around sqldf quirk of munging logicals to integers)
##for (ci in which(sapply(res,inherits,'POSIXct'))) res[[ci]] <- as.double(res[[ci]]); ## coerce POSIXct columns to double (works around sqldf quirk of losing POSIXct class) ----- POSIXct doesn't work at all in sqldf.indexed
res <- res[order(names(res))]; ## order columns
res <- res[do.call(order,res),]; ## order rows
res;
}; ## end harmonize()
checkIdentical <- function(argSpecs,solTypes=getSolTypes()) {
for (joinType in getJoinTypes()) {
callExpressions <- setUpBenchmarkCall(argSpecs,joinType,solTypes);
if (length(callExpressions)<2L) next;
ex <- harmonize(eval(callExpressions[[1L]]));
for (i in seq(2L,len=length(callExpressions)-1L)) {
y <- harmonize(eval(callExpressions[[i]]));
if (!isTRUE(all.equal(ex,y,check.attributes=F))) {
ex <<- ex;
y <<- y;
solType <- names(callExpressions)[i];
stop(paste0('non-identical: ',solType,' ',joinType,'.'));
}; ## end if
}; ## end for
}; ## end for
invisible();
}; ## end checkIdentical()
testJoinType <- function(argSpecs,joinType,solTypes=getSolTypes(),metric=NULL,times=100L) {
callExpressions <- setUpBenchmarkCall(argSpecs,joinType,solTypes);
bm <- microbenchmark(list=callExpressions,times=times);
if (is.null(metric)) return(bm);
bm <- summary(bm);
res <- setNames(nm=names(callExpressions),bm[[metric]]);
attr(res,'unit') <- attr(bm,'unit');
res;
}; ## end testJoinType()
testAllJoinTypes <- function(argSpecs,solTypes=getSolTypes(),metric=NULL,times=100L) {
joinTypes <- getJoinTypes();
resList <- setNames(nm=joinTypes,lapply(joinTypes,function(joinType) testJoinType(argSpecs,joinType,solTypes,metric,times)));
if (is.null(metric)) return(resList);
units <- unname(unlist(lapply(resList,attr,'unit')));
res <- do.call(data.frame,c(list(join=joinTypes),setNames(nm=solTypes,rep(list(rep(NA_real_,length(joinTypes))),length(solTypes))),list(unit=units,stringsAsFactors=F)));
for (i in seq_along(resList)) res[i,match(names(resList[[i]]),names(res))] <- resList[[i]];
res;
}; ## end testAllJoinTypes()
testGrid <- function(makeArgSpecsFunc,sizes,overlaps,solTypes=getSolTypes(),joinTypes=getJoinTypes(),metric='median',times=100L) {
res <- expand.grid(size=sizes,overlap=overlaps,joinType=joinTypes,stringsAsFactors=F);
res[solTypes] <- NA_real_;
res$unit <- NA_character_;
for (ri in seq_len(nrow(res))) {
size <- res$size[ri];
overlap <- res$overlap[ri];
joinType <- res$joinType[ri];
argSpecs <- makeArgSpecsFunc(size,overlap);
checkIdentical(argSpecs,solTypes);
cur <- testJoinType(argSpecs,joinType,solTypes,metric,times);
res[ri,match(names(cur),names(res))] <- cur;
res$unit[ri] <- attr(cur,'unit');
}; ## end for
res;
}; ## end testGrid()
Voici un exemple de référence basé sur le PO que j'ai démontré plus tôt:
## OP's example, supplemented with a non-matching row in df2
argSpecs <- list(
default=list(copySpec=1:2,args=list(
df1 <- data.frame(CustomerId=1:6,Product=c(rep('Toaster',3L),rep('Radio',3L))),
df2 <- data.frame(CustomerId=c(2L,4L,6L,7L),State=c(rep('Alabama',2L),'Ohio','Texas')),
'CustomerId'
)),
data.table.unkeyed=list(copySpec=1:2,args=list(
as.data.table(df1),
as.data.table(df2),
'CustomerId'
)),
data.table.keyed=list(copySpec=1:2,args=list(
setkey(as.data.table(df1),CustomerId),
setkey(as.data.table(df2),CustomerId)
))
);
## prepare sqldf
initSqldf();
sqldf('create index df1_key on df1(CustomerId);'); ## upload and create an sqlite index on df1
sqldf('create index df2_key on df2(CustomerId);'); ## upload and create an sqlite index on df2
checkIdentical(argSpecs);
testAllJoinTypes(argSpecs,metric='median');
## join merge data.table.unkeyed data.table.keyed sqldf.unindexed sqldf.indexed plyr dplyr in.place unit
## 1 inner 644.259 861.9345 923.516 9157.752 1580.390 959.2250 270.9190 NA microseconds
## 2 left 713.539 888.0205 910.045 8820.334 1529.714 968.4195 270.9185 224.3045 microseconds
## 3 right 1221.804 909.1900 923.944 8930.668 1533.135 1063.7860 269.8495 218.1035 microseconds
## 4 full 1302.203 3107.5380 3184.729 NA NA 1593.6475 270.7055 NA microseconds
Ici, je me base sur des données d'entrée aléatoires, en essayant différentes échelles et différents modèles de chevauchement de clés entre les deux tables d'entrée. Ce repère est toujours limité au cas d'une clé entière à colonne unique. De plus, pour que la solution en place fonctionne avec les jointures gauche et droite des mêmes tables, toutes les données de test aléatoires utilisent la cardinalité 0..1:0..1
. Ceci est mis en œuvre en échantillonnant sans remplacer la colonne clé du premier data.frame lors de la génération de la colonne clé du deuxième data.frame.
makeArgSpecs.singleIntegerKey.optionalOneToOne <- function(size,overlap) {
com <- as.integer(size*overlap);
argSpecs <- list(
default=list(copySpec=1:2,args=list(
df1 <- data.frame(id=sample(size),y1=rnorm(size),y2=rnorm(size)),
df2 <- data.frame(id=sample(c(if (com>0L) sample(df1$id,com) else integer(),seq(size+1L,len=size-com))),y3=rnorm(size),y4=rnorm(size)),
'id'
)),
data.table.unkeyed=list(copySpec=1:2,args=list(
as.data.table(df1),
as.data.table(df2),
'id'
)),
data.table.keyed=list(copySpec=1:2,args=list(
setkey(as.data.table(df1),id),
setkey(as.data.table(df2),id)
))
);
## prepare sqldf
initSqldf();
sqldf('create index df1_key on df1(id);'); ## upload and create an sqlite index on df1
sqldf('create index df2_key on df2(id);'); ## upload and create an sqlite index on df2
argSpecs;
}; ## end makeArgSpecs.singleIntegerKey.optionalOneToOne()
## cross of various input sizes and key overlaps
sizes <- c(1e1L,1e3L,1e6L);
overlaps <- c(0.99,0.5,0.01);
system.time({ res <- testGrid(makeArgSpecs.singleIntegerKey.optionalOneToOne,sizes,overlaps); });
## user system elapsed
## 22024.65 12308.63 34493.19
J'ai écrit du code pour créer des graphiques journal-journal des résultats ci-dessus. J'ai généré un graphique séparé pour chaque pourcentage de chevauchement. C'est un peu encombré, mais j'aime bien avoir tous les types de solutions et types de jointures représentés dans le même graphique.
J'ai utilisé une interpolation par spline pour afficher une courbe lisse pour chaque combinaison de type solution/jointure, dessinée avec des symboles pch individuels. Le type de jointure est capturé par le symbole pch, en utilisant un point pour les parenthèses angulaires intérieure, gauche et droite pour la gauche et la droite, et un losange pour la totalité. Le type de solution est capturé par la couleur indiquée dans la légende.
plotRes <- function(res,titleFunc,useFloor=F) {
solTypes <- setdiff(names(res),c('size','overlap','joinType','unit')); ## derive from res
normMult <- c(microseconds=1e-3,milliseconds=1); ## normalize to milliseconds
joinTypes <- getJoinTypes();
cols <- c(merge='purple',data.table.unkeyed='blue',data.table.keyed='#00DDDD',sqldf.unindexed='brown',sqldf.indexed='orange',plyr='red',dplyr='#00BB00',in.place='Magenta');
pchs <- list(inner=20L,left='<',right='>',full=23L);
cexs <- c(inner=0.7,left=1,right=1,full=0.7);
NP <- 60L;
ord <- order(decreasing=T,colMeans(res[res$size==max(res$size),solTypes],na.rm=T));
ymajors <- data.frame(y=c(1,1e3),label=c('1ms','1s'),stringsAsFactors=F);
for (overlap in unique(res$overlap)) {
x1 <- res[res$overlap==overlap,];
x1[solTypes] <- x1[solTypes]*normMult[x1$unit]; x1$unit <- NULL;
xlim <- c(1e1,max(x1$size));
xticks <- 10^seq(log10(xlim[1L]),log10(xlim[2L]));
ylim <- c(1e-1,10^((if (useFloor) floor else ceiling)(log10(max(x1[solTypes],na.rm=T))))); ## use floor() to zoom in a little more, only sqldf.unindexed will break above, but xpd=NA will keep it visible
yticks <- 10^seq(log10(ylim[1L]),log10(ylim[2L]));
yticks.minor <- rep(yticks[-length(yticks)],each=9L)*1:9;
plot(NA,xlim=xlim,ylim=ylim,xaxs='i',yaxs='i',axes=F,xlab='size (rows)',ylab='time (ms)',log='xy');
abline(v=xticks,col='lightgrey');
abline(h=yticks.minor,col='lightgrey',lty=3L);
abline(h=yticks,col='lightgrey');
axis(1L,xticks,parse(text=sprintf('10^%d',as.integer(log10(xticks)))));
axis(2L,yticks,parse(text=sprintf('10^%d',as.integer(log10(yticks)))),las=1L);
axis(4L,ymajors$y,ymajors$label,las=1L,tick=F,cex.axis=0.7,hadj=0.5);
for (joinType in rev(joinTypes)) { ## reverse to draw full first, since it's larger and would be more obtrusive if drawn last
x2 <- x1[x1$joinType==joinType,];
for (solType in solTypes) {
if (any(!is.na(x2[[solType]]))) {
xy <- spline(x2$size,x2[[solType]],xout=10^(seq(log10(x2$size[1L]),log10(x2$size[nrow(x2)]),len=NP)));
points(xy$x,xy$y,pch=pchs[[joinType]],col=cols[solType],cex=cexs[joinType],xpd=NA);
}; ## end if
}; ## end for
}; ## end for
## custom legend
## due to logarithmic skew, must do all distance calcs in inches, and convert to user coords afterward
## the bottom-left corner of the legend will be defined in normalized figure coords, although we can convert to inches immediately
leg.cex <- 0.7;
leg.x.in <- grconvertX(0.275,'nfc','in');
leg.y.in <- grconvertY(0.6,'nfc','in');
leg.x.user <- grconvertX(leg.x.in,'in');
leg.y.user <- grconvertY(leg.y.in,'in');
leg.outpad.w.in <- 0.1;
leg.outpad.h.in <- 0.1;
leg.midpad.w.in <- 0.1;
leg.midpad.h.in <- 0.1;
leg.sol.w.in <- max(strwidth(solTypes,'in',leg.cex));
leg.sol.h.in <- max(strheight(solTypes,'in',leg.cex))*1.5; ## multiplication factor for greater line height
leg.join.w.in <- max(strheight(joinTypes,'in',leg.cex))*1.5; ## ditto
leg.join.h.in <- max(strwidth(joinTypes,'in',leg.cex));
leg.main.w.in <- leg.join.w.in*length(joinTypes);
leg.main.h.in <- leg.sol.h.in*length(solTypes);
leg.x2.user <- grconvertX(leg.x.in+leg.outpad.w.in*2+leg.main.w.in+leg.midpad.w.in+leg.sol.w.in,'in');
leg.y2.user <- grconvertY(leg.y.in+leg.outpad.h.in*2+leg.main.h.in+leg.midpad.h.in+leg.join.h.in,'in');
leg.cols.x.user <- grconvertX(leg.x.in+leg.outpad.w.in+leg.join.w.in*(0.5+seq(0L,length(joinTypes)-1L)),'in');
leg.lines.y.user <- grconvertY(leg.y.in+leg.outpad.h.in+leg.main.h.in-leg.sol.h.in*(0.5+seq(0L,length(solTypes)-1L)),'in');
leg.sol.x.user <- grconvertX(leg.x.in+leg.outpad.w.in+leg.main.w.in+leg.midpad.w.in,'in');
leg.join.y.user <- grconvertY(leg.y.in+leg.outpad.h.in+leg.main.h.in+leg.midpad.h.in,'in');
rect(leg.x.user,leg.y.user,leg.x2.user,leg.y2.user,col='white');
text(leg.sol.x.user,leg.lines.y.user,solTypes[ord],cex=leg.cex,pos=4L,offset=0);
text(leg.cols.x.user,leg.join.y.user,joinTypes,cex=leg.cex,pos=4L,offset=0,srt=90); ## srt rotation applies *after* pos/offset positioning
for (i in seq_along(joinTypes)) {
joinType <- joinTypes[i];
points(rep(leg.cols.x.user[i],length(solTypes)),ifelse(colSums(!is.na(x1[x1$joinType==joinType,solTypes[ord]]))==0L,NA,leg.lines.y.user),pch=pchs[[joinType]],col=cols[solTypes[ord]]);
}; ## end for
title(titleFunc(overlap));
readline(sprintf('overlap %.02f',overlap));
}; ## end for
}; ## end plotRes()
titleFunc <- function(overlap) sprintf('R merge solutions: single-column integer key, 0..1:0..1 cardinality, %d%% overlap',as.integer(overlap*100));
plotRes(res,titleFunc,T);
Voici un deuxième point de repère à grande échelle plus robuste, en ce qui concerne le nombre et les types de colonnes clés, ainsi que la cardinalité. Pour ce repère, j'utilise trois colonnes de clé: un caractère, un entier et une logique, sans restriction de cardinalité (c'est-à-dire 0..*:0..*
). (En général, il est déconseillé de définir des colonnes clés avec des valeurs doubles ou complexes en raison de complications liées à la comparaison en virgule flottante. En principe, personne n'utilise le type brut, encore moins pour les colonnes clés. Je n'ai donc pas inclus ces types dans la clé. Pour des raisons d’information, j’ai au départ essayé d’utiliser quatre colonnes de clé en incluant une colonne de clé POSIXct, mais le type POSIXct ne fonctionnait pas bien avec la solution sqldf.indexed
pour une raison quelconque, probablement en raison de la virgule flottante. comparaison des anomalies, je l’ai donc enlevée.)
makeArgSpecs.assortedKey.optionalManyToMany <- function(size,overlap,uniquePct=75) {
## number of unique keys in df1
u1Size <- as.integer(size*uniquePct/100);
## (roughly) divide u1Size into bases, so we can use expand.grid() to produce the required number of unique key values with repetitions within individual key columns
## use ceiling() to ensure we cover u1Size; will truncate afterward
u1SizePerKeyColumn <- as.integer(ceiling(u1Size^(1/3)));
## generate the unique key values for df1
keys1 <- expand.grid(stringsAsFactors=F,
idCharacter=replicate(u1SizePerKeyColumn,paste(collapse='',sample(letters,sample(4:12,1L),T))),
idInteger=sample(u1SizePerKeyColumn),
idLogical=sample(c(F,T),u1SizePerKeyColumn,T)
##idPOSIXct=as.POSIXct('2016-01-01 00:00:00','UTC')+sample(u1SizePerKeyColumn)
)[seq_len(u1Size),];
## rbind some repetitions of the unique keys; this will prepare one side of the many-to-many relationship
## also scramble the order afterward
keys1 <- rbind(keys1,keys1[sample(nrow(keys1),size-u1Size,T),])[sample(size),];
## common and unilateral key counts
com <- as.integer(size*overlap);
uni <- size-com;
## generate some unilateral keys for df2 by synthesizing outside of the idInteger range of df1
keys2 <- data.frame(stringsAsFactors=F,
idCharacter=replicate(uni,paste(collapse='',sample(letters,sample(4:12,1L),T))),
idInteger=u1SizePerKeyColumn+sample(uni),
idLogical=sample(c(F,T),uni,T)
##idPOSIXct=as.POSIXct('2016-01-01 00:00:00','UTC')+u1SizePerKeyColumn+sample(uni)
);
## rbind random keys from df1; this will complete the many-to-many relationship
## also scramble the order afterward
keys2 <- rbind(keys2,keys1[sample(nrow(keys1),com,T),])[sample(size),];
##keyNames <- c('idCharacter','idInteger','idLogical','idPOSIXct');
keyNames <- c('idCharacter','idInteger','idLogical');
## note: was going to use raw and complex type for two of the non-key columns, but data.table doesn't seem to fully support them
argSpecs <- list(
default=list(copySpec=1:2,args=list(
df1 <- cbind(stringsAsFactors=F,keys1,y1=sample(c(F,T),size,T),y2=sample(size),y3=rnorm(size),y4=replicate(size,paste(collapse='',sample(letters,sample(4:12,1L),T)))),
df2 <- cbind(stringsAsFactors=F,keys2,y5=sample(c(F,T),size,T),y6=sample(size),y7=rnorm(size),y8=replicate(size,paste(collapse='',sample(letters,sample(4:12,1L),T)))),
keyNames
)),
data.table.unkeyed=list(copySpec=1:2,args=list(
as.data.table(df1),
as.data.table(df2),
keyNames
)),
data.table.keyed=list(copySpec=1:2,args=list(
setkeyv(as.data.table(df1),keyNames),
setkeyv(as.data.table(df2),keyNames)
))
);
## prepare sqldf
initSqldf();
sqldf(paste0('create index df1_key on df1(',paste(collapse=',',keyNames),');')); ## upload and create an sqlite index on df1
sqldf(paste0('create index df2_key on df2(',paste(collapse=',',keyNames),');')); ## upload and create an sqlite index on df2
argSpecs;
}; ## end makeArgSpecs.assortedKey.optionalManyToMany()
sizes <- c(1e1L,1e3L,1e5L); ## 1e5L instead of 1e6L to respect more heavy-duty inputs
overlaps <- c(0.99,0.5,0.01);
solTypes <- setdiff(getSolTypes(),'in.place');
system.time({ res <- testGrid(makeArgSpecs.assortedKey.optionalManyToMany,sizes,overlaps,solTypes); });
## user system elapsed
## 38895.50 784.19 39745.53
Les parcelles résultantes, utilisant le même code de tracé donné ci-dessus:
titleFunc <- function(overlap) sprintf('R merge solutions: character/integer/logical key, 0..*:0..* cardinality, %d%% overlap',as.integer(overlap*100));
plotRes(res,titleFunc,F);
merge
, nous pouvons sélectionner la variable du tableau de gauche ou du tableau de droite, de la même manière que nous connaissons tous les instructions select en SQL (EX: Select a. * ... ou Select b. * From .... .)Nous devons ajouter du code supplémentaire qui sera un sous-ensemble de la table nouvellement jointe.
SQL: - select a.* from df1 a inner join df2 b on a.CustomerId=b.CustomerId
R: - merge(df1, df2, by.x = "CustomerId", by.y = "CustomerId")[,names(df1)]
De la même façon
SQL: - select b.* from df1 a inner join df2 b on a.CustomerId=b.CustomerId
R: - merge(df1, df2, by.x = "CustomerId", by.y = "CustomerId")[,names(df2)]
Pour une jointure interne sur toutes les colonnes, vous pouvez également utiliser fintersect
depuis le data.table - package ou intersect
depuis le dplyr - package as une alternative à merge
sans spécifier les colonnes by
-. cela donnera les lignes qui sont égales entre deux images:
merge(df1, df2)
# V1 V2
# 1 B 2
# 2 C 3
dplyr::intersect(df1, df2)
# V1 V2
# 1 B 2
# 2 C 3
data.table::fintersect(setDT(df1), setDT(df2))
# V1 V2
# 1: B 2
# 2: C 3
Exemple de données:
df1 <- data.frame(V1 = LETTERS[1:4], V2 = 1:4)
df2 <- data.frame(V1 = LETTERS[2:3], V2 = 2:3)
Mettre à jour la jointure. Une autre jointure importante de style SQL est un " mise à jour de la jointure " où les colonnes d'une table sont mises à jour (ou créé) en utilisant une autre table.
Modification des exemples de tables du PO ...
sales = data.frame(
CustomerId = c(1, 1, 1, 3, 4, 6),
Year = 2000:2005,
Product = c(rep("Toaster", 3), rep("Radio", 3))
)
cust = data.frame(
CustomerId = c(1, 1, 4, 6),
Year = c(2001L, 2002L, 2002L, 2002L),
State = state.name[1:4]
)
sales
# CustomerId Year Product
# 1 2000 Toaster
# 1 2001 Toaster
# 1 2002 Toaster
# 3 2003 Radio
# 4 2004 Radio
# 6 2005 Radio
cust
# CustomerId Year State
# 1 2001 Alabama
# 1 2002 Alaska
# 4 2002 Arizona
# 6 2002 Arkansas
Supposons que nous voulions ajouter l'état du client de cust
à la table des achats, sales
, en ignorant la colonne de l'année. Avec la base R, nous pouvons identifier les lignes correspondantes, puis copier les valeurs sur:
sales$State <- cust$State[ match(sales$CustomerId, cust$CustomerId) ]
# CustomerId Year Product State
# 1 2000 Toaster Alabama
# 1 2001 Toaster Alabama
# 1 2002 Toaster Alabama
# 3 2003 Radio <NA>
# 4 2004 Radio Arizona
# 6 2005 Radio Arkansas
# cleanup for the next example
sales$State <- NULL
Comme on peut le voir ici, match
sélectionne la première ligne correspondante de la table des clients.
Mettre à jour la jointure avec plusieurs colonnes. L'approche ci-dessus fonctionne bien lorsque nous ne joignons que sur une seule colonne et sommes satisfaits de la première correspondance. Supposons que nous voulions que l'année de mesure dans la table des clients corresponde à l'année de vente.
Comme le mentionne @ bgoldst, match
avec interaction
pourrait être une option dans ce cas. Plus simplement, on pourrait utiliser data.table:
library(data.table)
setDT(sales); setDT(cust)
sales[, State := cust[sales, on=.(CustomerId, Year), x.State]]
# CustomerId Year Product State
# 1: 1 2000 Toaster <NA>
# 2: 1 2001 Toaster Alabama
# 3: 1 2002 Toaster Alaska
# 4: 3 2003 Radio <NA>
# 5: 4 2004 Radio <NA>
# 6: 6 2005 Radio <NA>
# cleanup for next example
sales[, State := NULL]
Jointure de mise à jour progressive. Sinon, nous pouvons vouloir prendre le dernier état dans lequel le client a été trouvé:
sales[, State := cust[sales, on=.(CustomerId, Year), roll=TRUE, x.State]]
# CustomerId Year Product State
# 1: 1 2000 Toaster <NA>
# 2: 1 2001 Toaster Alabama
# 3: 1 2002 Toaster Alaska
# 4: 3 2003 Radio <NA>
# 5: 4 2004 Radio Arizona
# 6: 6 2005 Radio Arkansas
Les trois exemples ci-dessus sont tous centrés sur la création/l'ajout d'une nouvelle colonne. Voir la FAQ relative R pour un exemple de mise à jour/modification d'une colonne existante.