Depuis plusieurs mois maintenant, un petit monde d’experts liés à l’IA s’agite sur les promesses ambitieuses que le programme ChatGPT d’OpenAI promet de générer des énoncés en langage naturel dans un univers thématique très large. A ce stade, nous pensons qu’il est nécessaire, à travers cet article, de rappeler le potentiel du Chat GPT-3, mais aussi ses limites. Les générateurs de texte (y compris GPT-3) ont vu leurs capacités renforcées par les progrès fulgurants des technologies liées à l’IA. C’est l’invention du modèle d’apprentissage en profondeur qui a changé la donne. Ce type de modèle fait la part belle à la notion d’attention : contrairement aux modèles de la génération précédente, GPT-3 et consorts utilisent les informations de manière différenciée, et non selon leur ordre séquentiel. De cette manière, la technique permet un apprentissage plus rapide des outils.

Développé par la start-up Open AI (détenue en partie par Elon Musk, le patron de Tesla et de Space X), GPT dans sa nouvelle version permet la génération automatique de texte en étant capable de simuler des conversations, d’écrire des textes à partir du moment et automatiquement. C’est un bouleversement majeur dans le quotidien des individus.

Le traitement automatique du langage naturel, souvent appelé NLP (Natural Language Processing), n’est plus considéré comme une innovation en tant que telle. Grâce à l’amélioration croissante et continue de la communication homme-machine, à une plus grande capacité en termes de collecte et d’analyse de données, de puissance de calcul et d’améliorations algorithmiques, le traitement du langage naturel permet aux ordinateurs de comprendre, de générer et de manipuler le langage humain.

La plupart d’entre nous ont probablement été en contact avec la PNL sans même s’en rendre compte. Prenons un exemple : le NLP est la technologie de base des assistants virtuels, tels que Siri, Cortana, Google ou Alexa. Lorsque nous interrogeons ces assistants virtuels, la PNL leur permet non seulement de comprendre la demande que nous formulons, mais aussi de répondre en langage naturel. La PNL s’applique à la fois au texte écrit et à la parole, quelle que soit la langue utilisée. D’autres exemples d’outils qui utilisent la PNL incluent la recherche de mots, le filtrage anti-spam, la traduction automatique de texte, la synthèse de documents, la vérification grammaticale et les correcteurs orthographiques automatiques.

Par exemple, certains programmes de messagerie peuvent suggérer automatiquement une réponse appropriée à un message en fonction de son contenu. Structurés autour de la construction d’« artefacts » informatiques qui comprennent, génèrent ou manipulent le langage humain, les programmes utilisant la PNL permettent ainsi de lire, d’analyser et de répondre aux messages.

Pour bien comprendre où nous en sommes aujourd’hui, il est important de rappeler que les évolutions majeures qui ont été possibles ces dernières années n’ont pu l’être qu’avec l’apport du machine learning. L’apprentissage automatique (ML) ou apprentissage automatique est une sous-catégorie de l’intelligence artificielle. Elle consiste à permettre aux algorithmes de découvrir des « patterns », c’est-à-dire motifs répétitifs, dans des ensembles de données. Ces données peuvent être des nombres, des mots, des images, des statistiques… Tout ce qui peut être stocké numériquement peut être utilisé comme données pour l’apprentissage automatique. En découvrant des modèles dans ces données, les algorithmes apprennent et améliorent leurs performances dans l’exécution d’une tâche spécifique. Les algorithmes d’apprentissage automatique apprennent donc à effectuer une tâche de manière autonome ou à faire des prédictions basées sur des données et à améliorer leurs performances au fil du temps. Une fois formé, l’algorithme sera capable de trouver des modèles dans de nouvelles données.

Le traitement du langage naturel (TAL) facilite donc la conversion des commandes humaines en langage informatique et inversement. Cela rend l’interface utilisateur beaucoup plus facile et plus pratique. De plus, l’utilisateur n’a pas à passer par le langage de programmation, ce qui lui fait gagner un temps précieux.

On peut énumérer trois axes de traitement du langage humain, à savoir l’approche symbolique, l’approche statistique et l’approche connexionniste.

. Approche symbolique : le principe de cette méthodologie repose sur des règles linguistiques couramment adoptées dans une langue donnée, qui sont définies et enregistrées par un lexicographe afin qu’un système informatique puisse les suivre.

. Approche statistique : cette approche de la PNL est basée sur des illustrations significatives et récurrentes des manifestations linguistiques.

. Approche connexionniste : L’approche connexionniste du traitement du langage naturel est un mélange d’approches symboliques et statistiques. Cette approche part de règles linguistiques généralement acceptées et les adapte à des applications spécifiques à partir de données obtenues par inférence statistique.

Cela expliqué, et pour comprendre l’essor du traitement du langage naturel, il convient de rappeler l’importance de l’apprentissage par transfert, qui est une technique d’apprentissage automatique où un modèle est formé sur une tâche et transféré à une autre tâche liée à la tâche principale. Ainsi, au lieu de créer et de former et d’exiger d’énormes quantités de données, vous ajustez simplement le modèle pré-formé.

Cela signifie que les entreprises peuvent effectuer des tâches NLP plus rapidement en utilisant de plus petites quantités de données étiquetées. Cette technique d’apprentissage par transfert est maintenant utilisée dans les tâches de traitement du langage naturel telles que la classification des intentions, l’analyse des sentiments et la reconnaissance des entités nommées.

Sur la base de ces techniques, nous pouvons désormais créer des modèles d’apprentissage automatique qui produisent des éléments à partir de zéro, et l’OPEN AI GPT-3 (Generative Pre-trained Transformer 3) en est un parfait exemple. La plus grande amélioration possible réside dans le fait que ces processeurs sont capables de comprendre le contexte des mots d’une manière qui n’était pas possible auparavant.

La nouvelle version de l’algorithme de génération de texte Open AI présentée fin 2022 ne manque pas de susciter autant d’émerveillement face à cette évolution spectaculaire que d’effroi devant l’énorme potentiel que pourrait offrir cette nouvelle approche du langage naturel. Dans ce cas, parler de révolution est un léger euphémisme, tant l’impact sur le quotidien de chacun sera palpable très prochainement. Cependant, nous sommes désormais habitués à entendre régulièrement des annonces de séismes majeurs grâce à l’intelligence artificielle avec parfois, il faut bien le dire, des résultats qui ne sont pas encore au niveau attendu. En l’occurrence, et avec une analyse approfondie de la nouvelle version GPT-3 (ainsi que sa version Chatbot), le thème s’est avéré sérieux, crédible et terriblement efficace. GPT tient ses promesses.

À Lire  6 bonnes raisons d'avoir un site internet pour un artisan ou un…

GPT est une série de modèles d’intelligence artificielle principalement conçus pour permettre à quiconque de créer automatiquement des textes de synthèse. GPT-3 est basé sur un processus appelé « Transformers », qui permet la traduction, la classification ou la génération de textes pouvant être utilisés dans de nombreuses tâches de traitement du langage naturel (TAL). Le mécanisme d’attention lui permet, contrairement aux réseaux de neurones récurrents qui étaient utilisés auparavant, de traiter les mots quel que soit l’ordre dans lequel ils sont écrits, de traiter l’information de différentes manières et de l’adapter au contexte et a ainsi la capacité d’écrire comme un Humain. A noter que « Transformers », développé par Google, a été présenté au grand public en 2017. Depuis lors, il est devenu la base d’une large gamme de programmes de langage, dont Open AI s’est inspiré par le développement de GPT-3. Ce dernier n’est pas techniquement innovant, mais plutôt révolutionnaire dans son domaine d’application, offrant des solutions inégalées jusqu’à présent.

GPT-3 est formé sur 570 gigaoctets de texte et possède 175 milliards de paramètres (la version précédente, GPT-2, n’avait que 1,5 milliard de paramètres).

Sa version de base peut effectuer un large éventail de tâches, par exemple, la recherche sémantique, la traduction, le résumé ou la reformulation de textes. GPT-3 peut également générer du texte sur la base de la saisie de quelques phrases seulement, voire du début d’une phrase.

GPT-3 : un modèle multi-tâches et complètement personnalisables

GPT peut donc générer différentes actions :

GPT a sa propre version Chatbot qui peut répondre aux questions et même discuter, c’est ChatGPT.

Une formation spéciale est désormais possible pour adapter le modèle aux besoins de leur application grâce à GPT-3. C’est un grand pas en avant et très bénéfique pour l’entreprise. La façon de procéder? Tout d’abord, il est nécessaire d’exécuter une commande associée au fichier de données souhaité. La version personnalisée souhaitée commencera alors à s’entraîner et sera immédiatement disponible dans l’API du moteur de langage. Ainsi, l’utilisateur de l’entreprise peut facilement analyser les commentaires de ses clients. À partir de données non structurées, le système peut produire des rapports résumant les commentaires et les interactions des clients.

Les modèles de type GPT-3 peuvent également être utiles dans le domaine de la programmation informatique. Microsoft, par exemple, a développé un outil appelé Power Apps, qui est utilisé pour créer des applications en mode low-code. Power Apps permet ainsi de concevoir des lignes de code qui traduisent un besoin exprimé sous forme écrite en mots simples. Power Apps générera ainsi une ou plusieurs des formules les plus pertinentes. L’utilisateur n’aura qu’à choisir celui qui lui convient.

Quelles sont les limites actuelles de GTP3 ?

Bien sûr, nous pouvons faire quelques critiques sur le modèle d’application GTP-3, qui n’est pas encore parfait. Entre autres, on peut parfois encore mentionner des faux sens dans les phrases reproduites, des fautes d’orthographe ou encore la mauvaise qualité des textes que GPT-3 produit.

Mais les critiques les plus pertinentes qui se posent portent davantage sur la version de ChatGTP, qui faciliterait le plagiat des travaux, notamment pour les étudiants diplômés. ChatGTP donne aux étudiants la possibilité de soumettre des devoirs écrits par GPT (pas eux-mêmes) et rend ainsi plus difficile pour les enseignants de détecter ce plagiat.

Cependant (et cela nous est facile à confirmer, étant donné que nous sommes également enseignants), il est possible d’entraîner des logiciels de détection de plagiat, avec les mêmes algorithmes de Machine Learning, au style ciblé (vocabulaire utilisé, suite de textes déjà utilisés, structure de phrase , articulation des idées , utilisation de la ponctuation) de chaque élève et de le comparer avec le nouveau texte qu’il retourne pour déterminer s’il s’agit d’un prolongement de ce que l’élève a déjà produit.

Cependant, le vrai problème n’est pas le plagiat. La diffusion de GTP3 et ses mises à jour dans les années à venir affecteront sans aucun doute la variété et la qualité de réflexion des contenus diffusés. GPT ne fait que réarticuler des concepts/idées/arguments/raisonnements développés sur Internet et d’autres applications. GTP-3 répétant, sous une forme ou une autre, les mêmes choses sur les mêmes questions, le principal risque à ce stade est la diffusion continue d’idées déjà établies et transmises à l’infini par les utilisateurs. De tels contenus dupliqués ou paraphrasés sans aucune analyse, traitement de l’original et sans esprit critique, vont appauvrir la qualité de la pensée et alimenter encore plus les fake news.

En conclusion, la modélisation du langage permet la conception de systèmes de communication intelligents grâce à de vastes référentiels de connaissances humaines écrites. La concurrence s’intensifie et devient féroce. Les chercheurs de DeepMind ont analysé les performances du modèle de langage basé sur Transformer à une large gamme d’échelles de modèle – d’un modèle avec des dizaines de millions de paramètres à un modèle de 280 milliards de paramètres appelé Gopher, qui dépasse déjà 175 milliards de GPT-3 Open. AI, mais bien en dessous des 530 milliards de MT-NLG de Microsoft et Nvidia. Dès lors, on peut constater que les géants technologiques ont investi dans ce créneau, ce qui aura sans aucun doute pour effet d’accroître la concurrence dans les mois et années à venir, notamment en s’appuyant sur une technologie de plus en plus performante.

Cependant, nous ne devons pas ignorer une autre question importante qui appelle à la réflexion : les modèles les plus importants du langage naturel sont très énergivores : ils consomment d’énormes quantités de calcul et génèrent des quantités croissantes de dioxyde de carbone. De plus, la reproduction de biais (sujet sensible mais bien réel) dans la création de chaînes de texte à partir de modèles est un véritable problème éthique. Le sujet n’est pas clos, mais avouons-le, nous venons d’entrer dans une autre ère.

Tribune rédigée par Pascal MONTAGNON – Directeur du Département de Recherche Numérique, Data Science et Intelligence Artificielle – OMNES EDUCATION et Eric BRAUNE – Maître de Conférences – Diplômé INSEEC

<<< Lire aussi : ChatGPT : Comment l’IA générative affectera-t-elle l’avenir du travail ? >>>