ChatGPT a passé un examen MBA. Voici comment ça s'est passé

Un professeur de Wharton, Université de Pennsylvanie, a donné un laissez-passer théorique de catégorie B à ChatGPT après avoir noté les réponses qu'il a générées pour un examen final dans un cours de MBA typique.

Christian Terwiesch, professeur de gestion des opérations à Wharton, a déclaré que ChatGPT fait un "travail incroyable sur les questions de gestion des opérations de base et d'analyse des processus".

"Non seulement les réponses sont correctes, mais les explications sont excellentes", écrit-il dans un nouveau livre blanc.

Aussi : Comment commencer à utiliser ChatGPT

Mais il a ajouté que le chatbot fait "des erreurs surprenantes dans des calculs relativement simples au niveau des mathématiques de 6e année", et qu'il ne peut actuellement pas gérer des questions d'analyse de processus plus avancées. D'autre part, la version actuelle de ChatGPT peut modifier ses réponses en réponse à des indices humains pour arriver à la bonne solution.

"Compte tenu de cette performance, Chat GPT3 aurait reçu une note de B à B à l'examen", écrit Terwiesch.

Plusieurs des questions de Terwiesch visaient à tester si ChatGPT pouvait identifier un goulot d'étranglement dans une opération de traitement avec plusieurs machines ayant des capacités de débit différentes.

ChatGPT, cependant, "a fait une erreur importante d'une ampleur massive" lors du calcul avec une arithmétique de niveau moyen.

Fait intéressant, ChatGPT a initialement répondu de manière incorrecte à l'une des questions de Terwiesch concernant l'analyse des files d'attente. Il l'a invité avec un indice pour une meilleure réponse et ChatGPT a amélioré sa réponse. Le lendemain, le professeur lui a posé la même question de file d'attente initiale sans l'indice - et ChatGPT a répondu correctement lors de sa première tentative.

"Il est soit capable d'apprendre des commentaires passés, soit j'ai juste eu de la chance", note-t-il, ajoutant qu'il semblait y avoir un certain caractère aléatoire dans la qualité de ses réponses.

Terwiesch a également découvert que ChatGPT était capable de formuler des questions intelligentes et humoristiques qu'il pourrait utiliser lors de futurs examens. Cependant, le chatbot a également introduit des défauts subtils dans certaines questions qui les ont rendues impossibles à répondre.

Aussi: ChatGPT "manquait de profondeur et de perspicacité", déclarent de prestigieux éditeurs de revues scientifiques

Terwiesch avertit les autres d'être conscients des capacités et des limites de ChatGPT. Il dit qu'il "est tombé amoureux" de ChatGPT après avoir lu sa réponse à sa première question, mais prévient qu'il "a fait des erreurs majeures dans certaines situations assez simples".

"Nous sommes encore loin d'un A+ pour les problèmes complexes et nous avons encore besoin d'un humain dans la boucle", écrit-il.

"De mon point de vue sur l'éducation, un élève du primaire doit encore apprendre que 7 x 7 = 49 et que la capitale de la Pennsylvanie est Harrisburg, même si les calculatrices sont largement utilisées depuis plus de 50 ans et que les élèves peuvent utiliser Google Wikipedia pour trouver des réponses. pour la plupart des questions factuelles. C'est la nature des compétences fondamentales qu'elles sont nécessaires pour comprendre des sujets plus avancés.

Terwiesch convient que les éducateurs devraient craindre que les élèves de la maternelle à la 12e année puissent utiliser ChatGPT pour tricher aux devoirs et aux examens. Par exemple, le ministère de l'Éducation de la ville de New York a récemment interdit le chatbot parce que des tests fiables sont importants dans l'enseignement, tandis que la certification des compétences ne devrait pas être compromise à cause des nouvelles technologies. Un étudiant utilisant ChatGPT, c'est comme pouvoir appeler un ami avec une "compétence académique moyenne" pour passer l'examen à sa place, note-t-il.

Mais il soutient également que ChatGPT et des technologies similaires ont la capacité de jouer le rôle d'un "consultant intelligent" - celui qui produit des réponses élégantes mais souvent erronées, ce qui, selon lui, est le "terrain de formation idéal" pour développer les compétences des étudiants du MBA qui ont besoin pour évaluer de manière critique les alternatives proposées.