Pour être connecté
avec votre communauté d'utilisateurs

Les modèles de language Camembert et Flaubert sont des déclinaisons du modèle dit des "Transformers" développé par Google et dénomé BERT. Ce modèle extrêmement puissant a cependant été entrainé sur un corpus essentiellement en langue anglaise le rendant peu utile pour une utilisation sur du texte en francais.
Deux équipes de respectivement 8 et 10 chercheurs ont adapté ce modèle en l'entrainant sur un corpus francais. La tradition voulant que les modéles dérivés de BERT en conserve le nom, les deux déclinaisons françaises se nomment CamemBERT et FlauBERT. Similaires mais différentes, les explications sont disponibles sur ces liens:

https://hal.inria.fr/hal-02889805/file/ACL_2020___CamemBERT__a_Tasty_French_Language_Model-6.pdf
https://hal.archives-ouvertes.fr/hal-02784776v3/document

Chez Workroom, nous développons uniquement des chatbots "state of the art", c'est-à-dire utilisant les technologies les plus avancées en matière de traitement de langage. Afin de mieux comprendre les differents niveaux de developpement des chatbots, une classification sur 5 degrés de développement a été mise en place.
1. Moteur de règles: ce que nous retrouvons regulièrement dans les chatbots grand publics. C'est typiquement les chatbots d'aide à la clientèle avec des choix multiples pré-établis
2. Reconnaissance de questions, systeme plus ouvert et adapté à un jargon bien defini pour un coeur de métier
3. Reconnaissance des questions avec un degré de tolérence pour une liberté orthographique et syntaxique. Le champs d'application est plus large. C'est à ce stade qu'évolue aujourd'hui les chatbot les plus sophistiqués et qu'évolue nos projets.
4. Ce niveau se caractérise pas la génération dynamique de la réponse; le bot formule la réponse comme bon lui semble. Si cela existe en mode experimental, l'application en production présente des difficultés majeures. En effet il est très délicat de laisser un bot converser avec des utilisateurs de manière complètement autonome sans maîtriser si ce qu'il va dire à un sens ou est acceptable d'um point du vue éthique.
5. Le robot rattrape l'humain. Heureusement, nous n'y sommes pas et c'est encore loin.
L'article complet est disponible sur Medium:

https://medium.com/une-classification-des-chatbots-version-2018/une-classification-des-chatbots-version-2018-f0ba41f159ce

Ces dernières années, des benchmarks pour évaluer les modèles de nlp les plus performants ont été mis au point. Le plus récent est le Benchmark Glue auquel s'est rajouté SuperGlue. Figurent sur son tableau les modèles ayant les meilleures scores sur le benchmark. Ce tableau est continuellement mis à jour et donc tient compte des derniers développements dans le secteur. Le modèle francais Cammembert n'y figure pas car les leaders sont essentiellements des modèles de langue anglaise. Néanmoins, figure parmi les premiers le modele Alberta de Facebook dont Camembert s'inspire pour son architecture.

SuperGlue Benchmark Leaderboard

La technologie de recherche automatique du langage a progressé très rapidement ces 5 dernières années avec une accélération marquée ces 12 derniers mois. L'article présente un apperçu des progrès récents les plus marquants:

https://towardsdatascience.com/2019-year-of-bert-and-transformer-f200b53d05b9