Les détecteurs d'IA peuvent-ils nous sauver de ChatGPT ? J'ai essayé 3 outils en ligne pour le savoir

Ceci est le deuxième article de ce qui est en train de devenir une série explorant les problèmes du texte généré par l'IA.

Dans cet épisode, mon copain IA et moi examinons la question de savoir s'il est possible de lutter contre le plagiat généré par l'IA, et comment cela pourrait fonctionner.

Aussi : Qu'est-ce que ChatGPT et pourquoi est-ce important ? Voici ce que vous devez savoir

Avant de continuer, cependant, nous devons parler du concept de plagiat et de son lien avec ce problème. Webster's définit "plagier" comme "voler et faire passer (les idées ou les mots d'un autre) comme les siens : utiliser (la production d'un autre) sans créditer la source".

Cela convient au contenu créé par l'IA. Bien qu'une personne utilisant un outil d'IA comme Notion AI ou ChatGPT ne vole pas de contenu, si cette personne ne crédite pas les mots comme provenant d'une IA et les revendique comme les siens, cela répond toujours à la définition du dictionnaire du plagiat.

ZDNET recommande

Les meilleurs chatbots IA : ChatGPT et autres alternatives intéressantes à essayer

Les chatbots et les rédacteurs de l'IA peuvent vous aider à alléger votre charge de travail en écrivant des e-mails et des essais et même en faisant des maths. Ils utilisent l'intelligence artificielle pour générer du texte ou répondre à des requêtes en fonction de l'entrée de l'utilisateur. ChatGPT est un exemple populaire, mais il existe d'autres chatbots remarquables.

Lisez maintenant

Dans cet article expérimental, j'ai demandé à ChatGPT de m'aider. Mes mots sont en texte normal et en gras. Les mots de l'IA sont en italique. J'utiliserai également trois détecteurs de plagiat ChatGPT en ligne (que je décrirai plus en détail ci-dessous). Après chaque section générée par l'IA, je montrerai les résultats des détecteurs. À la fin de l'article, nous examinerons les performances globales des détecteurs.

Voici le résultat pour le texte ci-dessus, que j'ai écrit moi-même :

• Détecteur de sortie GPT-2 : 99,98 % réel
• Writer AI Content Detector : contenu 100 % généré par l'homme. Fantastique!
• Contenu à l'échelle AI Content Detection : 100 % de contenu humain. Ça a l'air génial !

Sur ce, commençons.

Expliquez pourquoi ChatGPT peut être un réel problème pour les enseignants et les éditeurs en matière de plagiat

ChatGPT est une variante du modèle de langage GPT (Generative Pre-trained Transformer) développé par OpenAI. Il est conçu pour générer un texte de type humain en prédisant le mot ou la phrase suivante dans une séquence d'entrée donnée. Bien que ChatGPT puisse être un outil utile pour générer du texte et répondre aux invites, il peut également être un problème pour les enseignants et les éditeurs en matière de plagiat.

L'une des principales raisons pour lesquelles ChatGPT peut être un problème pour les enseignants et les éditeurs est qu'il peut générer un texte très similaire à celui de vrais écrivains humains. Cela signifie que les étudiants ou d'autres personnes pourraient potentiellement utiliser ChatGPT pour générer du texte qu'ils pourraient ensuite soumettre comme leur propre travail, commettant ainsi un plagiat.

Aussi : L'aide à la rédaction de Notion AI peut-elle écrire cet article ?

Pour les enseignants et les éditeurs, détecter si un texte donné a été généré par ChatGPT ou écrit par un humain peut être très difficile, car le texte généré peut ne pas contenir d'erreurs ou de divergences évidentes qui révéleraient son origine artificielle. Cela peut rendre difficile pour les enseignants et les éditeurs d'identifier et de prévenir le plagiat, car ils peuvent ne pas être en mesure de dire si un texte donné est original ou copié à partir d'une autre source.

Dans l'ensemble, ChatGPT et d'autres modèles de langage similaires peuvent être un problème pour les enseignants et les éditeurs en matière de plagiat, car ils peuvent générer un texte difficile à distinguer de celui écrit par des humains, ce qui permet aux étudiants et à d'autres personnes de commettre plus facilement un plagiat sans être détecté.

• Détecteur de sortie GPT-2 : 99,69 % réel
• Writer AI Content Detector : 97 % de contenu généré par l'homme. Fantastique!
• Contenu à grande échelle AI Content Detection : 87 % de score de contenu humain. Bien paraître !

N'oubliez pas que le texte affiché en italique a été généré par l'IA.

Montrez-moi au moins trois façons de détecter que ChatGPT a été utilisé pour produire un texte

Il existe plusieurs façons de détecter si ChatGPT ou un autre modèle de langage a été utilisé pour produire un texte. Voici trois approches potentielles que vous pourriez utiliser :

1. Recherchez des modèles répétitifs ou inhabituels dans le texte : une façon de détecter si un modèle de langage a été utilisé pour générer un morceau de texte consiste à rechercher des modèles répétitifs ou inhabituels dans l'écriture. Par exemple, les modèles de langage peuvent répéter certaines phrases ou combinaisons de mots, ou utiliser des structures de phrases inhabituelles ou incohérentes.
2. Vérifier le manque d'originalité : Une autre façon de détecter si un modèle de langage a été utilisé pour générer un morceau de texte est de vérifier le manque d'originalité dans l'écriture. Si un morceau de texte semble avoir été copié à partir d'une autre source, ou s'il contient des informations largement disponibles sur Internet ou dans d'autres sources, cela pourrait être un signe qu'il a été généré par un modèle de langage.
3. Utilisez un vérificateur de plagiat : Enfin, vous pouvez utiliser un vérificateur de plagiat pour vérifier si un morceau de texte semble avoir été copié à partir d'une autre source. Bien qu'un vérificateur de plagiat puisse ne pas être en mesure de déterminer définitivement si un modèle de langage a été utilisé pour générer un morceau de texte, il peut vous aider à identifier les cas de copie ou de paraphrase à partir d'autres sources.
4. Notez quand la réponse est manifestement fausse : j'en ai parlé dans ma revue Notion AI, où j'ai mis en lumière un texte que l'IA a écrit avec une autorité apparente, mais qui était manifestement faux. Si un étudiant ou un écrivain ne maîtrise pas parfaitement le sujet abordé, il se peut qu'il ne détecte pas les inexactitudes et les laisse simplement dans la réponse générée par l'IA. Bien sûr, les déclarations incorrectes ne sont pas seulement du ressort d'un outil d'écriture d'IA. De nombreux blogueurs et commentateurs, par exemple, répètent simplement les déclarations faites par d'autres blogueurs, créant une chambre d'écho de "faits complètement faux", montrant que si l'intelligence peut être artificielle, la stupidité est un trait universel.

Gardez à l'esprit qu'il peut être difficile de déterminer avec certitude si un modèle de langage a été utilisé pour générer un texte, et ces méthodes ne sont pas toujours efficaces. Cependant, ils peuvent être des outils utiles pour vous aider à identifier les instances potentielles de texte généré par un modèle de langage.

Dans cet ensemble de tests, seul le contenu en italique ci-dessus a été exécuté via la suite de vérificateurs.

• Détecteur de sortie GPT-2 : 99,98 % faux
• Détecteur de contenu Writer AI : [ aucun résultat ]
• Contenu à grande échelle AI Content Detection : 0 % de score de contenu humain. Évidemment l'IA

Énumérez trois vérificateurs de plagiat qui peuvent détecter le texte ChatGPT

Innovation

• J'ai essayé Apple Vision Pro et c'est bien en avance sur ce à quoi je m'attendais
• Ce petit communicateur satellite regorge de fonctionnalités et de tranquillité d'esprit
• Comment utiliser ChatGPT : tout ce que vous devez savoir
• Ce sont mes 5 outils d'IA préférés pour le travail

Il convient de noter qu'il n'existe actuellement aucun vérificateur de plagiat spécialement conçu pour détecter le texte généré par ChatGPT ou d'autres modèles de langage. Alors que certains vérificateurs de plagiat peuvent être en mesure d'identifier certaines caractéristiques du texte généré par un modèle de langage qui pourraient indiquer son origine artificielle, il n'y a aucune garantie qu'ils seront en mesure de déterminer définitivement si un morceau de texte a été généré par un modèle de langage.

Cela dit, voici trois vérificateurs de plagiat que vous pourriez envisager d'utiliser pour vous aider à identifier les instances potentielles de texte généré par un modèle de langage :

1. Turnitin : Turnitin est un vérificateur de plagiat populaire largement utilisé par les écoles et les universités. Il compare un morceau de texte à une base de données d'autres textes pour identifier les cas de copie ou de paraphrase. Bien qu'il puisse ne pas être en mesure de déterminer définitivement si un morceau de texte a été généré par un modèle de langage, il pourrait potentiellement identifier certaines caractéristiques du texte généré par un modèle de langage qui pourraient indiquer son origine artificielle.
2. PlagScan : PlagScan est un autre vérificateur de plagiat qui compare un morceau de texte à une base de données d'autres textes pour identifier les cas de copie ou de paraphrase. Comme Turnitin, il peut être en mesure d'identifier certaines caractéristiques du texte généré par un modèle de langage qui pourraient indiquer son origine artificielle, mais il n'est pas spécifiquement conçu pour détecter le texte généré par un modèle de langage.
3. Copyleaks : Copyleaks est un vérificateur de plagiat qui utilise des algorithmes avancés d'apprentissage automatique pour analyser un morceau de texte et le comparer à une base de données d'autres textes afin d'identifier les cas de copie ou de paraphrase. Bien qu'il puisse être en mesure d'identifier certaines caractéristiques du texte généré par le modèle de langage, il n'est pas spécifiquement conçu pour détecter le texte généré par le modèle de langage.

Il convient de noter qu'aucun vérificateur de plagiat n'est totalement infaillible et qu'il est toujours possible qu'un morceau de texte généré par un modèle de langage puisse échapper à la détection. Par conséquent, il est important d'utiliser les vérificateurs de plagiat comme une partie d'une stratégie plus large pour détecter et prévenir le plagiat.

• Détecteur de sortie GPT-2 : 99,62 % réel
• Détecteur de contenu Writer AI : [ aucun résultat ]
• Contenu à grande échelle AI Content Detection : 86 % de contenu humain. Bien paraître !

Vérificateurs de plagiat AI en ligne

La plupart des détecteurs de plagiat sont utilisés pour comparer l'écriture à un corpus d'autres écrits. Par exemple, lorsqu'un étudiant rend un essai, un produit comme Turnitin analyse l'essai soumis par rapport à une énorme bibliothèque d'autres essais dans sa base de données, ainsi que par d'autres documents et textes sur Internet pour déterminer si l'essai soumis contient déjà- contenu écrit.

Mais les outils d'écriture de l'IA génèrent du contenu original, du moins en théorie. Oui, ils construisent leur contenu à partir de tout ce sur quoi ils ont été formés, mais les mots réels qu'ils construisent sont quelque peu uniques pour chaque composition.

Aussi : le véritable objectif de l'IA n'est peut-être plus l'intelligence

En tant que tels, les vérificateurs de plagiat mentionnés ci-dessus ne fonctionneront probablement pas, car le contenu généré par l'IA n'existait probablement pas, par exemple, dans le papier d'un autre étudiant.

Je suis donc allé sur Google et j'ai recherché des détecteurs spécialement conçus pour rechercher les signatures révélatrices du contenu piloté par l'IA. J'en ai trouvé trois. Pour le contenu du test présenté dans les captures d'écran ci-dessous, j'ai demandé à ChatGPT ceci : "Est-ce que Star Trek est meilleur que Star Wars ? Justifiez et expliquez" Sa réponse n'était pas mauvaise du tout, et j'ai transmis cette réponse aux trois testeurs.

• Détecteur de sortie GPT-2 : 99,98 % réel
• Writer AI Content Detector : contenu 100 % généré par l'homme. Fantastique!
• Contenu à l'échelle AI Content Detection : 100 % de contenu humain. Ça a l'air génial !

Détecteur de sortie GPT-2 (précision 66%)

Ce premier outil a été construit à l'aide d'un centre d'apprentissage automatique géré par la société d'intelligence artificielle basée à New York, Hugging Face. Alors que la société a reçu un financement de 40 millions de dollars pour développer sa bibliothèque de langage naturel, le détecteur GPT-2 semble être un outil créé par l'utilisateur à l'aide de la bibliothèque Hugging Face Transformers. Sur les six tests que j'ai effectués, c'était exact pour quatre d'entre eux.

Détecteur de contenu AI Writer.com (précision N/A)

Writer.com est un service qui génère de l'écriture IA, orienté vers les équipes d'entreprise. Son outil AI Content Detector peut rechercher le contenu généré. Malheureusement, j'ai trouvé cet outil peu fiable. Sur les six analyses que j'ai effectuées, trois ont échoué. Sur les trois, il a fonctionné avec succès, il a obtenu deux bons et un mauvais.

Après la publication de cet article, les gens de Writer.com ont contacté ZDNET. Le PDG May Habib avait ce commentaire à partager :

La demande pour le détecteur d'IA a monté en flèche. Le trafic a augmenté de 2 à 3 fois par semaine depuis son lancement il y a quelques mois. Nous avons maintenant la mise à l'échelle nécessaire derrière elle pour nous assurer qu'elle ne tombe pas en panne, et notre objectif est de la garder gratuite - et à jour pour capter les sorties des derniers modèles, y compris la nôtre. Si la sortie de l'IA doit être utilisée textuellement, elle doit absolument être attribuée.

Contenu à grande échelle Détection de contenu IA (précision 50 %)

Le troisième outil que j'ai trouvé a également été produit par une société de génération de contenu d'IA, mais celui-ci semblait fonctionner de manière fiable. Le contenu à l'échelle se présente comme "Nous aidons les spécialistes du marketing de contenu axés sur le référencement en automatisant la création de contenu". Son appel marketing à l'action est le suivant : "Téléchargez une liste de mots clés et obtenez plus de 2 600 articles de blog qui contournent la détection de contenu par l'IA, le tout sans intervention humaine !" Sur les six tests que j'ai effectués, c'était exact pour trois.

Dernières pensées

Le plagiat basé sur l'IA est un problème croissant, car des outils d'IA tels que Notion AI et ChatGPT peuvent générer du texte difficile à distinguer de celui écrit par des humains. Il existe plusieurs façons de détecter si un morceau de texte a été généré par une IA, comme la recherche de modèles répétitifs ou inhabituels, la vérification d'un manque d'originalité ou l'utilisation d'un vérificateur de plagiat. Les vérificateurs de plagiat comme Turnitin, PlagScan et Copyleaks peuvent être en mesure d'identifier certaines caractéristiques du texte généré par le modèle de langage, mais ils ne sont pas infaillibles.

Même les outils spécialisés que j'ai trouvés étaient terriblement inadaptés à la tâche. Le meilleur cas était le détecteur de sortie GPT-2, mais il n'a obtenu que les deux tiers du texte soumis correct.

À ce stade, je ne pense pas que nous soyons prêts à laisser l'IA combattre l'IA. Au lieu de cela, nous allons devoir nous fier à la perception humaine (ce qui signifie que les gens doivent faire attention) afin d'identifier les œuvres qui ont été générées par une IA.

Ne présumez pas immédiatement que quelque chose est généré par une machine. Juste parce que quelque chose est stupide ou terriblement inexact, ne présumez pas immédiatement qu'il n'a pas été écrit par un humain. Comme nous le savons tous, les humains sont tout à fait capables d'écrire des trucs incroyablement mauvais tout seuls.

Aussi: ChatGPT d'OpenAI est effrayant pour mon travail, mais il ne peut pas (encore) me remplacer

Alors qu'est-ce que tu en penses? Pouvez-vous dire si une pièce est générée par l'IA ? Avez-vous utilisé ces outils d'écriture d'IA dans les mois qui se sont écoulés depuis qu'ils sont soudainement tous devenus disponibles ? Pensez-vous qu'ils sont une aide ou un obstacle à l'éducation et au journalisme ? Faites-le nous savoir dans les commentaires ci-dessous. Voici comment ChatGPT a répondu à ceci :

En tant que modèle de langage, je ne peux pas voir ou interagir avec des éléments d'écriture physiques, donc je ne peux pas dire si un élément est généré par l'IA ou non. Cependant, je peux vous dire qu'il existe plusieurs outils d'écriture d'IA disponibles et qu'ils peuvent être utilisés pour générer un large éventail de contenus écrits, notamment des articles de presse, de la fiction, de la poésie, etc.

Je n'ai aucune expérience personnelle de l'utilisation de ces outils car je ne suis qu'un programme informatique et je n'ai pas la capacité de naviguer sur Internet ni d'utiliser des outils physiques. Cependant, je peux vous dire que certaines personnes ont trouvé que les outils d'écriture de l'IA étaient utiles dans l'éducation et le journalisme, car ils peuvent économiser du temps et des efforts en automatisant certaines tâches. D'autres ont exprimé des inquiétudes quant à la possibilité que ces outils soient utilisés pour produire un contenu trompeur ou biaisé, ou pour remplacer les rédacteurs humains. En fin de compte, si les outils d'écriture d'IA sont une aide ou un obstacle dépend de la façon dont ils sont utilisés et du contexte dans lequel ils sont utilisés.

Donc, oui, il y a ça.