Détecteurs ChatGPT : comment identifier des contenus IA ?

Suite à l’explosion de popularité de ChatGPT en 2022, il devient très difficile aujourd’hui de savoir si un contenu a été généré par l’humain ou par intelligence artificielle. La facilité d’accès de l’IA générative fait que tout le monde est en mesure de l’utiliser avec diverses mises en application. Le biais dans tout ça, c’est que celui qui utilise cette technologie quotidiennement commence à voir des patterns d’IA partout, et n’arrive plus à faire confiance aux contenus qu’il lit (c’est mon cas personnellement).

L’autre problème, c’est que des métiers comme journalistes ou simplement rédacteurs web sont les cibles directes de cette perte de confiance. A tort ou à raison.

Dans tous les cas, la démocratisation de l’utilisation de l’IA générative est un fait, et cela va continuer de se développer dans les années à venir. L’essentiel aujourd’hui est donc de chercher à trouver des outils capables d’identifier son utilisation. Ça tombe bien, il en existe déjà certains d’assez performants. Faisons le point.

Les outils les plus performants pour détecter ChatGPT

Voici un tableau des principaux outils disponibles sur le marché :

Attention : même s’il est essentiel de pouvoir détecter l’utilisation d’outils IA dans les contenus présents sur internet, il convient de conserver un peu de recul quant à ce type d’outils de détection. Il est tout à fait possible de faire face à des cas de faux positifs. C’est-à-dire que l’outil va détecter un contenu IA alors que ce n’est pas le cas.

Quels sont les métiers pour qui la détection de contenus IA est essentielle ?

Plusieurs corps de métier peuvent avoir un besoin plus ou moins important d’outils de détection :

1. Les établissements scolaires afin de s’assurer de l’authenticité des travaux des étudiants
2. Les éditeurs de sites et e-commerçants afin de s’assurer qu’aucun plagiat ne se trouve sur leur site. En effet, aujourd’hui, n’importe quel rédacteur web peut faire appel à ce type d’outils. Si c’est mentionné, aucun problème puisque le contenu est acheté en connaissance de cause. En revanche, si ce n’est pas le cas, rien ne permet pour le moment de certifier le contraire. Les outils de détection ont donc un fort rôle à jouer dans ce cas précis.
3. Les médias, afin de prévenir la potentielle désinformation et la manipulation de l’opinion publique qui, combinée aux réseaux sociaux peut rapidement faire des ravages.

Comment fonctionnent les détecteurs de contenus IA ?

Les outils d’intelligence artificielle générative se nourrissent de milliards de données, et d’articles présents sur internet. Ils apprennent constamment, et sont ensuite capable de générer des contenus uniques à partir de ces données.

Il est donc complexe de détecter un contenu généré par IA. Alors comment vérifier l’authenticité d’un contenu généré ?

La méthode de fonctionnement la plus répandue semble être celle impliquant un calcul de probabilité basé sur la sémantique. Pour générer un texte, l’IA va prédire et anticiper le mot suivant qui sera le plus pertinent en se basant sur le contexte donné.

En réalisant du reverse engineering sur ce processus, il est donc possible de détecter si un contenu est généré par une intelligence artificielle.

La faiblesse d’un contenu IA, c’est son côté prévisible. Un humain fera généralement preuve de beaucoup plus d’inventivité et surtout de spontanéité (perplexity and burstiness selon les dires de Google). Les suites de mots deviennent donc beaucoup moins prévisibles qu’en étant écrites par un robot.

D’autres méthodes existent comme l’analyse de style basée sur l’utilisation caractéristiques stylistiques comme la longueur des phrases, la fréquence et la syntaxe. Enfin, des méthodes utilisant des algorithmes d’apprentissage afin de comparer des contenus humains et IA peuvent être utilisés.

Pour plus d’informations, je vous conseille la lecture de ce thread Twitter réalisé par Vincent Terrasi (co-fondateur de Draft&goal) :

Nous lançons notre détecteur Chatgpt/IA en français 🇫🇷

Voici la méthodologie @draftngoal pour le faire et je tiens à remercier le chercheur @ChristianMeline dont l’aide a été précieuse.https://t.co/rsf3BBSD8d

Voici un long thread : Méthodologie, Pensées et Futur pic.twitter.com/xvU5DQwsP6

— Vincent Terrasi (@VincentTerrasi) February 7, 2023

Quel outil de détection IA choisir ?

Il existe déjà plusieurs outils intéressants capables de détecter du contenu généré par des modèles d’IA tels que GPT3, GPT 3.5 (ChatGPT) et GPT4. Chacun avec sa petite particularité. Voici quelques détails pour mieux s’y retrouver :

AI Text Classifier a été développé par OpenAI, la société leader sur le marché de l’IA et des modèles de langages. D’après mes tests et ceux que j’ai pu observer auprès d’autres créateurs de contenus sur Youtube, il semblerait que ce détecteur ne soit clairement pas le plus fiable, avec pas mal de difficultés à identifier un contenu IA. C’est d’ailleurs pour cette raison qu’il a été désactivé par la société le 20 juillet 2023.

Originality.ai est le plus connu et semble être le plus fiable à ce jour.

Evidemment, la fiabilité a un prix. La formule de base de l’outil est à 14,95$ dollars pour 2000 crédits mensuels. Soit environ 200 000 mots d’analyses.

Cet outil permet également de réaliser une analyse de plagiat, information importante à prendre en compte.

Content at scale possède un fonctionnement similaire à Originality avec de très bons résultats. A noter que ces outils ne fonctionnent qu’en anglais. Il faut donc au préalable traduire votre contenu avec DeepL ou simplement GPT pour obtenir un résultat précis.

Enfin, un outil français développé entre autres par Vincent Terrasi, est disponible depuis quelques temps maintenant : Detector.dng. Si la V1 renvoyait de nombreux faux positifs, l’outil s’est amélioré avec le temps.

Résultats de mes tests de détection IA :

Voici les résultats que nous avons obtenus sur les différents outils sur un même texte, rédigé à 100% avec GPT 3.5 :

Voici les résultats que nous avons obtenus sur les différents outils sur un même texte, rédigé à 100% avec GPT4 :

Voici les résultats que nous avons obtenus sur les différents outils sur un même texte, rédigé à 100% par mes soins :

D’après nos tests, tous les outils sont en mesure de détecter efficacement du contenu rédigé à 100% par un être humain.

Content at Scale ainsi qu’Originality sont en mesure de détecter du contenu IA que ce soit avec GPT 3.5 ou GPT-4.

Detector.dng est relativement à l’aise pour détecter du contenu GPT 3.5. En revanche, il semble avoir des difficultés à détecter du GPT4.

Enfin GPTZero offre des résultats mitigés, avec beaucoup de difficultés à détecter du contenu IA dans les deux cas.

Si vous avez un peu de budget, je vous conseille donc de vous orienter vers Originality.ai, puisqu’il permet en plus de détecter le plagiat.

Autrement, Content at scale peut être une bonne solution d’après mes résultats. Si vous ne souhaitez pas traduire votre contenu, detector.dng est relativement efficace mais il faut avoir conscience de ses difficultés à détecter du GPT4.

Doit-on s’attendre à l’introduction prochaine d’un filigrane “Open AI” ?

Open AI, la société à l’origine de Chat GPT et GPT4, est en train de travailler sur une fonctionnalité de filigrane qui permettrait d’identifier sans aucun doute les contenus générés par leur modèle GPT. Cette mesure vise à prévenir les abus potentiels dans l’utilisation de leurs outils.