web-dev-qa-db-fra.com

Utiliser XGBOOST en c ++

Comment utiliser XGBOOST https://github.com/dmlc/xgboost/ library en c ++? J'ai fondé les API Python et Java, mais je n'ai pas trouvé d'API pour c ++.

c++xgboost
13
V. Gai

J'ai fini par utiliser l'API C, voir ci-dessous un exemple:

// create the train data
int cols=3,rows=5;
float train[rows][cols];
for (int i=0;i<rows;i++)
    for (int j=0;j<cols;j++)
        train[i][j] = (i+1) * (j+1);

float train_labels[rows];
for (int i=0;i<rows;i++)
    train_labels[i] = 1+i*i*i;


// convert to DMatrix
DMatrixHandle h_train[1];
XGDMatrixCreateFromMat((float *) train, rows, cols, -1, &h_train[0]);

// load the labels
XGDMatrixSetFloatInfo(h_train[0], "label", train_labels, rows);

// read back the labels, just a sanity check
bst_ulong bst_result;
const float *out_floats;
XGDMatrixGetFloatInfo(h_train[0], "label" , &bst_result, &out_floats);
for (unsigned int i=0;i<bst_result;i++)
    std::cout << "label[" << i << "]=" << out_floats[i] << std::endl;

// create the booster and load some parameters
BoosterHandle h_booster;
XGBoosterCreate(h_train, 1, &h_booster);
XGBoosterSetParam(h_booster, "booster", "gbtree");
XGBoosterSetParam(h_booster, "objective", "reg:linear");
XGBoosterSetParam(h_booster, "max_depth", "5");
XGBoosterSetParam(h_booster, "eta", "0.1");
XGBoosterSetParam(h_booster, "min_child_weight", "1");
XGBoosterSetParam(h_booster, "subsample", "0.5");
XGBoosterSetParam(h_booster, "colsample_bytree", "1");
XGBoosterSetParam(h_booster, "num_parallel_tree", "1");

// perform 200 learning iterations
for (int iter=0; iter<200; iter++)
    XGBoosterUpdateOneIter(h_booster, iter, h_train[0]);

// predict
const int sample_rows = 5;
float test[sample_rows][cols];
for (int i=0;i<sample_rows;i++)
    for (int j=0;j<cols;j++)
        test[i][j] = (i+1) * (j+1);
DMatrixHandle h_test;
XGDMatrixCreateFromMat((float *) test, sample_rows, cols, -1, &h_test);
bst_ulong out_len;
const float *f;
XGBoosterPredict(h_booster, h_test, 0,0,&out_len,&f);

for (unsigned int i=0;i<out_len;i++)
    std::cout << "prediction[" << i << "]=" << f[i] << std::endl;


// free xgboost internal structures
XGDMatrixFree(h_train[0]);
XGDMatrixFree(h_test);
XGBoosterFree(h_booster);
23
Tomer

Utilisez l'API C XGBoost.

  BoosterHandle booster;
  const char *model_path = "/path/of/model";

  // create booster handle first
  XGBoosterCreate(NULL, 0, &booster);

  // by default, the seed will be set 0
  XGBoosterSetParam(booster, "seed", "0");

  // load model
  XGBoosterLoadModel(booster, model_path);

  const int feat_size = 100;
  const int num_row = 1;
  float feat[num_row][feat_size];

  // create some fake data for predicting
  for (int i = 0; i < num_row; ++i) {
    for(int j = 0; j < feat_size; ++j) {
      feat[i][j] = (i + 1) * (j + 1)
    }
  }

  // convert 2d array to DMatrix
  DMatrixHandle dtest;
  XGDMatrixCreateFromMat(reinterpret_cast<float*>(feat),
                         num_row, feat_size, NAN, &dtest);

  // predict
  bst_ulong out_len;
  const float *f;
  XGBoosterPredict(booster, dtest, 0, 0, &out_len, &f);
  assert(out_len == num_row);
  std::cout << f[0] << std::endl;

  // free memory
  XGDMatrixFree(dtest);
  XGBoosterFree(booster);

Remarque Lorsque vous souhaitez charger un modèle existant (comme indiqué ci-dessus dans le code), vous devez vous assurer que le format des données dans la formation est le même que dans la prévision. Donc, si vous prédisez avec XGBoosterPredict, qui accepte une matrice dense en tant que paramètre, vous devez utiliser une matrice dense pendant l’entraînement.

S'entraîner au format libsvm et prévoir avec une matrice dense peut entraîner de fausses prédictions, comme XGBoost FAQ dit:

Les éléments "clairsemés" sont traités comme s'ils "manquaient" par le booster d'arborescence, et comme des zéros par le booster linéaire. Pour les modèles d'arborescence, il est important d'utiliser des formats de données cohérents lors de la formation et de l'évaluation.

2
Alan

Pour résoudre ce problème, nous exécutons le programme xgboost à partir du code source C++.

0
V. Gai

Il n'y a pas d'exemple que je connaisse. il y a un fichier c_api.h qui contient une API en C/C++ pour le package, et vous devrez trouver votre chemin pour l'utiliser. Je viens de faire ça. Il m'a fallu quelques heures pour lire le code et essayer quelques solutions. Mais finalement, j'ai réussi à créer un exemple fonctionnel de xgboost en C++.

0
amit