ChatGPT peut écrire du code. Maintenant, les chercheurs affirment qu'il est également bon pour corriger les bugs.

Le chatbot ChatGPT d'OpenAI peut résoudre très efficacement les bugs logiciels. Mais son principal avantage par rapport aux autres méthodes et modèles d'IA réside dans sa capacité unique à dialoguer avec les humains, ce qui lui permet d'améliorer la précision d'une réponse.

Des chercheurs de l'Université Johannes Gutenberg de Mayence et de l'University College London ont confronté le ChatGPT d'OpenAI à des "techniques de réparation de programme automatisées standard" et à deux approches d'apprentissage en profondeur pour la réparation de programmes : CoCoNut, développé par des chercheurs de l'Université de Waterloo au Canada ; et Codex, le modèle de OpenAI basé sur GPT-3 qui soutient le service de complétion automatique de code en binôme Copilot de GitHub.

Aussi: Comment commencer à utiliser ChatGPT

"Nous constatons que la performance de correction de bugs de ChatGPT est compétitive par rapport aux approches communes d'apprentissage profond CoCoNut et Codex et remarquablement meilleure que les résultats rapportés pour les approches standard de réparation de programmes", écrivent les chercheurs dans un nouvel article arXiv, repéré pour la première fois par New Scientist.

Les meilleurs chatbots d'IA : ChatGPT et autres alternatives intéressantes à essayer

Les chatbots et les rédacteurs d'intelligence artificielle peuvent vous aider à alléger votre charge de travail en écrivant des e-mails, des essais et même en faisant des mathématiques. Ils utilisent l'intelligence artificielle pour générer du texte ou répondre à des requêtes en fonction de l'entrée de l'utilisateur. ChatGPT est un exemple populaire, mais il existe d'autres chatbots remarquables.

Lire maintenant

Il n'est pas nouveau que ChatGPT puisse être utilisé pour résoudre des problèmes de codage, mais les chercheurs soulignent que sa capacité unique à dialoguer avec les humains lui donne un avantage potentiel par rapport aux autres approches et modèles.

Les chercheurs ont testé les performances de ChatGPT en utilisant le benchmark de correction de bugs QuixBugs. Les systèmes de réparation automatique de programmes (APR) semblent être désavantagés car ils ont été développés avant 2018.

ChatGPT est basé sur l'architecture transformateur, que le directeur de l'IA de Meta, Yann LeCunn, a mis en évidence cette semaine, qui a été développée par Google. Codex, CodeBERT de Microsoft Research et son prédécesseur BERT de Google sont tous basés sur la méthode de transformation de Google.

OpenAI met en évidence la capacité de dialogue de ChatGPT dans des exemples pour le débogage de code, où il peut demander des clarifications et recevoir des indications d'une personne pour trouver une meilleure réponse. Il a entraîné les grands modèles de langage derrière ChatGPT (GPT-3 et GPT 3.5) en utilisant l'apprentissage par renforcement à partir des commentaires humains (RLHF).

Tandis que la capacité de ChatGPT à discuter peut l'aider à parvenir à une réponse plus correcte, la qualité de ses suggestions reste incertaine, notent les chercheurs. C'est pourquoi ils ont souhaité évaluer les performances de ChatGPT en matière de correction de bugs.

Les chercheurs ont testé ChatGPT sur 40 problèmes QuixBugs en Python uniquement, puis ont vérifié manuellement si la solution suggérée était correcte ou non. Ils ont répété la requête quatre fois car il y a une certaine aléa dans la fiabilité des réponses de ChatGPT, comme l'a découvert un professeur de Wharton après avoir soumis le chatbot à un examen de type MBA.

ChatGPT a résolu 19 des 40 bugs Python, le plaçant au même niveau que CoCoNut (19) et Codex (21). Mais les méthodes APR standard n'ont résolu que sept des problèmes.

Les chercheurs ont constaté que le taux de réussite de ChatGPT avec les interactions de suivi atteignait 77,5%.

Les implications pour les développeurs en termes d'effort et de productivité sont ambiguës. Récemment, Stack Overflow a interdit les réponses générées par ChatGPT car elles étaient de basse qualité mais semblaient plausibles. Le professeur de Wharton a découvert que ChatGPT pourrait être un excellent compagnon pour les étudiants en MBA car il peut jouer le rôle d'un "consultant intelligent" - celui qui produit des réponses élégantes mais souvent incorrectes - et favorise la pensée critique.

"Cela montre que la contribution humaine peut être très utile pour un système APR automatisé, ChatGPT offrant les moyens de le faire", écrivent les chercheurs.

Malgré ses excellentes performances, la question se pose de savoir si le coût mental nécessaire pour vérifier les réponses de ChatGPT l'emporte sur les avantages qu'apporte ChatGPT.