Quel modèle (GPT2, BERT, XLNet et etc.) utiliseriez-vous pour une tâche de classification de texte? Pourquoi?
J'essaie de former un modèle pour une tâche de classification de phrases. L'entrée est une phrase (un vecteur d'entiers) et la sortie est une étiquette (0 ou 1). J'ai vu quelques articles ici et là sur l'utilisation de Bert et GPT2 pour les tâches de classification de texte. Cependant, je ne sais pas lequel choisir pour commencer. Lequel de ces modèles récents en NLP tels que le modèle Transformer original, Bert, GPT2, XLNet utiliseriez-vous pour commencer? Et pourquoi? Je préfère l'implémenter dans Tensorflow, mais je suis flexible pour opter pour PyTorch aussi. Merci!
Eh bien, comme d'autres l'ont mentionné, cela dépend de l'ensemble de données et plusieurs modèles doivent être essayés et le meilleur doit être choisi.
Cependant, partageant mon expérience, XLNet bat tous les autres modèles jusqu'à présent par une bonne marge. Par conséquent, si l'apprentissage n'est pas l'objectif, je commencerais simplement par XLNET, puis j'essaierai un peu plus sur la ligne et conclurai. Cela fait juste gagner du temps dans l'exploration.
Le repo ci-dessous est excellent pour faire tout cela rapidement. Bravo à eux.
https://github.com/Microsoft/nlp-recipes
Il utilise des transformateurs à face étreinte et les rend simples. ????