Comparaison entre luis.ai vs api.ai vs wit.ai?
Est-ce que quelqu'un connaît les différences et les fonctionnalités spécifiques entre les trois, ou si l'on a plus de fonctionnalités/plus flexible pour utiliser en tant que développeur?
wit.aivsapi.aivsluis.ai
╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║ wit.ai vs api.ai vs luis.ai ║
╠══════╦════════════════════════════════════╦═════════════════════════════════════════════╦════════════════════════════════════╣
║ S.No ║ Wit.ai ║ Api.ai ║ Luis.ai ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 1 ║ Wit.ai API is completely free ║ Api.ai Has a paid enterprise option ║ LUIS is in beta and free to use ║
║ ║ with no limitations on ║ which allows for this to be run on a ║ 10K transactions per month ║
║ ║ request rates. ║ private cloud internally and more ║ and up to 5 requests per second ║
║ ║ ║ from their services team., After google ║ for each account. ║
║ ║ ║ acquisition they are providing free ║ ║
║ ║ ║ services by integrating google cloud ║ ║
║ ║ ║ services. ║ ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 2 ║ Provides a Nice combination ║ Speech to Text and Text to Speech ║ LUIS uses machine learning ║
║ ║ of both voice recognition and ║ capabilities, along with machine ║ based methods to analyze ║
║ ║ machine learning for developers. ║ learning. ║ sentences. To perform machine ║
║ ║ ║ ║ learning, LUIS breaks an ║
║ ║ ║ ║ utterance into "tokens". ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 3 ║ Has two main elements to it ║ Support of Intents, Entities, actions ║ Supports Intents, Entities ║
║ ║ that you set up within your ║ and one key focus area is its “Domains”. ║ and actions. ║
║ ║ app – intents and entities. ║ ║ ║
║ ║ Actions are separated to ║ ║ ║
║ ║ use as a combined operations. ║ ║ ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 4 ║ Has pre-build entities like ║ Has pre-build entities like @sys.date, ║ Has pre-build entities ║
║ ║ temperature, number, URLs, ║ @sys.color, @sys.unit-currency… etc. ║ builtin.intent.alarm, ║
║ ║ emails, duration… etc. ║ ║ builtin.intent.calendar, ║
║ ║ ║ ║ builtin.intent.email… etc. ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 5 ║ Doesn’t have integration module ║ Has integration module to connect ║ Has integration to Microsoft ║
║ ║ to directly communicating with ║ directly to Facebook messenger and ║ Azure and other services, can be ║
║ ║ Facebook messenger or other ║ other messenger api’s. Has support for ║ deployable in any supported ║
║ ║ messenger APIs. but has web ║ deploying in to heroku server, enterprise ║ servers. ║
║ ║ service api to hook services. ║ paid environment. ║ ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 6 ║ Early in 2015, joined Facebook ║ Created by a team who built personal ║ LUIS was introduced together with ║
║ ║ and opened up the entire platform ║ assistant app for major mobile platforms ║ Microsoft Bot Framework and Skype ║
║ ║ to be free for both public and ║ with speech and text enabled conversations. ║ Developer Platform which can be ║
║ ║ private instances. ║ acquired by google (sept 2016). ║ used to create Skype Bots. ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 7 ║ Wit.ai API for developers of iOS, ║ Api.ai has SDKs for Android, iOS, ║ LUIS allow building applications ║
║ ║ Android, Node.js, Raspberry Pi, ║ the Apple Watch, Node.js, Cordova, ║ by using the LUIS web interface. ║
║ ║ Ruby, Python, C, Rust and ║ Unity, C#, Xamarin, Windows Phone, ║ No coding needed other than the ║
║ ║ Windows Phone. It even ║ Python and JavaScript. It also can be ║ ability to interpret and use the ║
║ ║ has a JavaScript plugin for ║ integrated with Amazon’s Echo and ║ returned JSON in application. ║
║ ║ front end developers. ║ Microsoft’s Cortana. ║ It is also possible to use the ║
║ ║ ║ ║ LUIS REST API for ║
║ ║ ║ ║ automation of applications. ║
╚══════╩════════════════════════════════════╩═════════════════════════════════════════════╩════════════════════════════════════╝
Mise à jour: API.AI est maintenant Dialogflow. En savoir plus ici.
This blogpost a une très bonne analyse et comparaison des services de Luis, Wit.ai, Api.ai, Amazon Alexa et IBM Watson. Il explique également pourquoi vous souhaitez créer un bot conversationnel et quels sont les défis qui s’y rattachent. Il est écrit par ceux qui se cachent derrière YumiBot (un robot qui vous donne des prix pour le développement d'applications).
L’essence générale est que Wit.ai et Luis sont de très bons choix si vous expérimentez et vous voulez juste obtenir quelque chose gratuitement. Api.ai offre un service et une expérience utilisateur exceptionnels mais n’est pas gratuit. Idem avec IBM Watson , ce dernier étant plus cher pour le travail d’entreprise. L'API d'Alexa est géniale mais ne fonctionne qu'avec Alexa (mais étant donné qu'elle a une base d'utilisateurs énorme, ce n'est pas une mauvaise affaire).
Leur conseil est également de ne pas trop compter sur un fournisseur:
Nous vous recommandons de stocker toutes les données nécessaires à votre modèle de manière structurée dans votre propre référentiel de code. Vous pourrez ainsi rééduquer le modèle à partir de zéro ou même changer le fournisseur de compréhension de la langue si nécessaire. Vous ne voulez simplement pas être dans une situation où une entreprise ferme son service et vous êtes complètement préparé. Tu te souviens de Parse?
J'espère que cela a aidé un peu! Je pense que la meilleure façon de faire un choix est de simplement essayer ces services. Étant donné que beaucoup d’entre elles sont encore lourdes en cours de développement et que l’on ajoute des fonctionnalités/des modèles de tarification changeants, vous devriez essayer de leur présenter un cas d’utilisation spécifique et voir lequel peut vous mener là où vous avez le plus rapidement besoin.
Nous avons récemment publié une étude d'évaluation de sept services activés par l'API NL : API.ai, Amazon Lex, Microsoft LUIS, Conversation IBM Watson, wit.ai, Recast.ai et Snips.ai.
Un bref résumé de nos conclusions:
- La détection d’intention d’IBM Watson est la meilleure solution, en particulier pour les jeux de données d’entraînement plus petits (bien que lorsqu’ils sont formés sur plus de 2000 échantillons, la différence est indiscernable).
- API.AI est gratuit, les performances sur un ensemble de formation suffisant correspondent à IBM Watson et Microsoft LUIS.
- Microsoft LUIS fonctionne nettement plus rapidement que d’autres dans nos tests. Les performances et le temps de réponse sont légèrement inférieurs à ceux des trois précédents, mais ils sont gratuits et offrent la meilleure couverture linguistique (environ 50 langues).
- Amazon Lex a des limites d'API assez strictes (la taille du jeu d'apprentissage est limitée à 200 Ko, ce qui peut être insuffisant pour atteindre une qualité de détection d'intention satisfaisante pour un assistant multi-intention; de plus, tous les énoncés d'apprentissage doivent être étiquetés par des entités, ce qui complique préparation de l'ensemble de données.
L'un des aspects de cette question est l'efficacité de ces outils pour comprendre le langage naturel. Dans une étude récente que nous venons de publier (Snips, une société d'intelligence artificielle française), nous avons testé les moteurs de langage naturel intégrés d'Alexa (Amazon), SiriKit (Apple), Luis (Microsoft) et API.ai (Google).
Nous avons testé leur capacité à comprendre des requêtes naturelles telles que "Trouvez-moi un bar à salade où je pourrais aller pour mon déjeuner-réunion", "Commandez un taxi pour 6 personnes", ainsi que 326 autres requêtes.
La conclusion générale est que toutes les solutions sont imparfaites.
Plus précisément, ils ont tous des niveaux de bruit similaires dans leurs réponses (précision comprise entre 60% et 90%), mais il existe des différences significatives dans la largeur de la langue qu'ils peuvent prendre en charge. De ce point de vue, Luis obtient les performances les plus médiocres: sur chaque cas d'utilisation que nous avons testé, il comprenait moins de 14% des requêtes. API.ai est plus performant, mais pas très fiable: il comprend entre 0 et 80% des requêtes que nous avons testées, en fonction des cas d'utilisation. Les taux de rappel les plus élevés peuvent être observés pour Alexa (rappel de 42% et 82%) et Siri (rappel de 61%).
Vous trouverez plus de détails et les données brutes sur lesquelles reposent ces résultats dans notre article de blog, Analyse comparative des systèmes en langage naturel
je vais répondre à la dernière partie de votre question sur la flexibilité et en tant que développeur, l’OMI, c’est enfin ce que vous recherchez sur ces plateformes.
Si vous êtes un développeur utilisant NodeJS ou .Net, LUIS.ai dispose d'une bibliothèque étendue, d'extraits de code bien définis et d'un exemple permettant de créer rapidement un bon bot. L'intention et la reconnaissance de l'entité sont un peu en dessous de Google, mais si vous êtes Microsoft Shop, il existe de nombreuses intégrations en un clic pour O365, Teams, Skype, Cortana, etc. Le contre pour LUIS.ai est que leur service semble très instable, leur site Web LUIS.ai ne fonctionne pas depuis la rédaction de cet article depuis plus d'une semaine et l'intégration de Cortana ne fonctionne pas depuis plus d'une semaine. Donc, la plate-forme est toujours un travail en cours.
Api.ai, d’un point de vue purement NLU est préférable à Luis.ai, les intentions de suivi sont très faciles à configurer, l’amorçage de la parole est largement supérieur à Luis.ai (même après amorçage de la parole). Les inconvénients, je dirais, c'est la connectabilité et aussi l'API pour construire un bot sont un peu plus compliqués que de construire un chat bot basé sur MSBot.
RASA NLU est une autre plate-forme open source qui gagne du terrain. https://rasa.com/ . Comparativement, la reconnaissance des entités et le classement sont encore un peu lointains pour les grands ensembles de données, mais ses sources ouvertes et si vous voulez vous salir les mains, vous pouvez modifier leur plate-forme github et l’améliorer.
Du point de vue du développement pur, il est plus facile de piloter un chatbot dans la plate-forme MS (en utilisant luis.ai ou qnamaker.ai), mais soyez prêt à relever le défi pendant la stabilisation de la plate-forme.
-Kartik
À mon avis, Luis est plus robuste et peut extraire des entités dans différentes langues. J'ai testé à api.ai et le néerlandais ne fonctionnait pas pour moi. Si vous avez seulement besoin d’anglais, alors l’un d’entre eux conviendra, mais si vous avez besoin de prendre en charge plus de langues, testez-les avant de rester bloqué avec un service. Bing speech to text est acceptable, mais je pense que pour obtenir une solution plus robuste, vous aurez besoin d'un autre service Microsoft qui nettoie la voix et le bruit.
J'utilisais DialogFlow mais je suis passé à LUIS. Pourquoi? parce que lorsque vous appelez DetectIntent dans DialogFlow, vous obtenez un JSON avec l'intention sélectionnée et son niveau de confiance, mais je dois obtenir une liste des intentions avec le niveau de confiance de chacune. La même chose arrive avec wit.ai et api.ai.
D'autre part, LUIS vous fournit une liste d'intentions en réponse. De cette façon, je peux appliquer un traitement supplémentaire de mon côté.
Ceci est un exemple tiré de LUIS lorsque vous recherchez "book flight to Cairo" (une partie de l'exemple LUIS):
{
"query": "Book me a flight to Cairo",
"topScoringIntent": {
"intent": "BookFlight",
"score": 0.9887482
},
"intents": [
{
"intent": "BookFlight",
"score": 0.9887482
},
{
"intent": "None",
"score": 0.04272597
},
{
"intent": "LocationFinder",
"score": 0.0125702191
},
{
"intent": "Reminder",
"score": 0.00375502417
},
{
"intent": "FoodOrder",
"score": 3.765154E-07
},
],
"entities": [
{
"entity": "cairo",
"type": "Location",
"startIndex": 20,
"endIndex": 24,
"score": 0.956781447
}
]
}
D'autre part, l'interface utilisateur à configurer DialogFlow est beaucoup plus puissante que ce que vous obtenez avec LUIS.