Les limites de ChatGPT : ce qu’il ne peut PAS faire

Limites ChatGPT

Vous n’avez sans doute pas échappé ces derniers mois à la déferlante des intelligences artificielles, et plus spécifiquement les modèles GPT-3 et GPT-4.
En réalité, l’IA est utilisée depuis des années déjà. Des outils étaient déjà disponibles pour générer du contenu, tels que Jasper par exemple. Mais OpenAI a apporté avec ChatGPT une nouvelle dimension, en rendant l’IA facilement accessible pour tout le monde sur quasiment n’importe quel sujet.

Qu’on le veuille ou non, elles sont maintenant là et beaucoup de personnes les utilisent déjà pour produire du contenu et gagner en productivité. Cependant, ces IA ne sont pas sans failles et ont leurs limites.

Pour vous aider à comprendre, voici quelques explications sur le fonctionnement du modèle GPT.

Comment fonctionne ChatGPT ?

Pour savoir ce que les modèles GPT peuvent faire, il faut d’abord comprendre comment ils fonctionnent. Ces modèles ont été entraînés de façon à deviner la suite d’un texte. Si vous tapez une phrase, il va essayer d’écrire une suite plausible grâce aux données avec lesquelles il a été entraîné. J’ai par exemple entré le texte « Ma voiture est » 2 fois à la suite dans ChatGPT et j’ai obtenu deux réponses totalement différentes :

ChatGPT exemple 1
Exemple 1
Exemple 2

Dans le 1er cas, ma voiture est parfaitement fonctionnelle, alors que dans le 2ème cas ma voiture est en panne. Pourquoi ?

Le modèle est allé chercher une suite logique à ma phrase en fonction de sa base donnée d’entraînement. Cela ne veut pas dire que telle ou telle réponse est plus « vraie » que l’autre, cela signifie juste que les 2 réponses sont possibles et plausibles.

C’est aussi pourquoi, il est capable « d’inventer » des choses qui n’existent pas ou qui ne sont pas correctes, on parle alors d’hallucination. Le modèle est capable de générer du texte qui fait du sens dans l’absolu, mais qui peut ne pas être correct du point de vue de notre réalité.

Pour ceux qui sont curieux, voici les données sur lesquelles le modèle a été entrainé

GPT données d'entrainement

Common Crawl contient des données du web depuis 2008, et sont donc similaires aux données indexées par Google depuis cette date.

WebText2 correspond aux données (certains mots clés sont blacklistés), des pages référencées par les posts Reddit qui ont au moins 3 votes positifs.

Books1 et Books2 sont des livres publiés.

Wikipedia, uniquement en anglais apparemment.

Ce que ChatGPT ne sait pas faire

Tout d’abord, comme vous le savez sûrement, ses connaissances sont limitées jusqu’à septembre 2021. Tous les évènements récents lui sont donc inconnus.

Ensuite, comme nous l’avons vu, ChatGPT est capable d’halluciner du contenu qui n’existe pas, car pour lui cela fait quand même du sens. Cela signifie qu’il faut faire attention au texte généré et toujours le vérifier.

J’ai par exemple vu plusieurs fois dans des articles, des vidéos, ou même dans la célèbre extension AIPRM for ChatGPT, que ChatGPT est capable de lire le contenu d’un site si on lui donne l’URL. Ceci est faux, ChatGPT n’est absolument pas capable d’accéder aux liens qu’on lui fourni car il n’est pas relié à internet. Il va en fait générer du contenu en fonction de l’URL en elle-même, et comme le titre de l’article est généralement compris dans l’URL, vous l’avez compris, il va trouver de quoi dire par rapport à ça.

J’ai par exemple créé un article avec une URL qui n’a aucun sens. J’ai demandé 2 fois à ChatGPT de me résumer l’article et voici les résultats :

limites ChatGPT
limites ChatGPT

La première fois, il n’est pas allé bien loin pour trouver un sujet : l’intelligence artificielle. L’article ne parlait bien entendu pas du tout d’intelligence artificielle, mais qu’à cela ne tienne il quand même tenté de répondre quelque chose de logique.

La 2ème fois, la réponse est vraiment évasive et générique au possible. Il ne sait pas de quoi traite l’article. Il répond que l’article est bien structuré avec des balises et des liens, alors qu’il n’y avait aucun titre et aucun lien, j’avais juste copié/collé un texte brut sans même un saut de ligne.

Malgré ces limites, c’est tout de même un outil qui s’avère très utile et puissant si on lui fournit le bon contexte. Nous verrons dans un prochain article, certaines façons d’utiliser ChatGPT sur ce qu’il sait faire cette fois 😉

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *