web-dev-qa-db-fra.com

Comment utiliser l'algorithme XGBoost pour la régression dans R?

J'essayais la technique XGBoost pour la prédiction. Comme ma variable dépendante est continue, je faisais la régression en utilisant XGBoost, mais la plupart des références disponibles dans divers portails sont pour la classification. Bien que je sache en utilisant

objective = "reg:linear"

nous pouvons faire la régression mais j'ai encore besoin de clarté pour les autres paramètres. Ce serait d'une grande aide si quelqu'un pouvait m'en fournir un extrait R.

rmachine-learninggbmxgboostboosting
13
Amarjeet
xgboost(data = X, 
        booster = "gbtree", 
        objective = "binary:logistic", 
        max.depth = 5, 
        eta = 0.5, 
        nthread = 2, 
        nround = 2, 
        min_child_weight = 1, 
        subsample = 0.5, 
        colsample_bytree = 1, 
        num_parallel_tree = 1)

Ce sont tous les paramètres avec lesquels vous pouvez jouer tout en utilisant des boosters d'arbre. Pour booster linéaire, vous pouvez utiliser les paramètres suivants pour jouer avec ...

xgboost(data = X, 
        booster = "gblinear", 
        objective = "binary:logistic", 
        max.depth = 5, 
        nround = 2, 
        lambda = 0, 
        lambda_bias = 0, 
        alpha = 0)

Vous pouvez vous référer à la description de xg.train() dans le document xgboost CRAN pour la signification détaillée de ces paramètres.

5
Gaurav

La meilleure description des paramètres que j'ai trouvés se trouve à

https://github.com/dmlc/xgboost/blob/master/doc/parameter.md

Il existe de nombreux exemples d'utilisation de XGBoost dans R disponibles dans le référentiel de scripts Kaggle. Par exemple:

https://www.kaggle.com/michaelpawlus/springleaf-marketing-response/xgboost-example-0-76178/code

4
Craig