Comment fonctionne ChatGPT ?

ChatGPT est l'un des nouveaux outils les plus brillants alimentés par l'IA, mais les algorithmes fonctionnant en arrière-plan alimentent en fait toute une gamme d'applications et de services depuis 2020. Donc, pour comprendre comment fonctionne ChatGPT, nous devons commencer par parler de la langue sous-jacente moteur qui l'alimente.

Le GPT dans ChatGPT est principalement GPT-3, ou le Generative Pre-trained Transformer 3, bien que GPT-4 soit maintenant disponible pour les abonnés ChatGPT Plus et deviendra probablement plus répandu bientôt. Les modèles GPT ont été développés par OpenAI (la société derrière ChatGPT et le générateur d'images DALL·E 2), mais ils alimentent tout, des fonctionnalités d'IA de Bing aux outils d'écriture comme Jasper et Copy.ai. En fait, la plupart des générateurs de texte AI disponibles actuellement utilisent GPT-3 et proposeront probablement GPT-4 comme prochaine étape.

ChatGPT a mis GPT-3 sous les projecteurs car il a rendu le processus d'interaction avec un générateur de texte AI simple et, surtout, gratuit pour tout le monde. De plus, c'est un chatbot, et les gens aiment un bon chatbot depuis SmarterChild.

Alors que GPT-3 et GPT-4 sont actuellement les grands modèles de langage (LLM) les plus populaires, au cours des prochaines années, il y aura probablement beaucoup plus de concurrence. Google, par exemple, a Bard – son chatbot IA – qui est alimenté par son propre moteur de langage Pathways Language Model (PaLM 2). Mais pour l'instant, l'offre d'OpenAI est la norme de facto de l'industrie. C'est juste l'outil le plus simple pour les gens à mettre la main dessus.

Alors la réponse à "comment fonctionne ChatGPT ?" est essentiellement : GPT-3 et GPT-4. Mais creusons un peu plus.

Qu'est-ce que ChatGPT ?

ChatGPT est une application créée par OpenAI. En utilisant les modèles de langage GPT, il peut répondre à vos questions, écrire une copie, rédiger des e-mails, tenir une conversation, expliquer le code dans différents langages de programmation, traduire le langage naturel en code, et plus encore, ou du moins essayer de le faire, le tout basé sur le langage naturel. vous invite à le nourrir. C'est un chatbot, mais vraiment très bon.

Bien que ce soit cool de jouer avec si, par exemple, vous voulez écrire un sonnet shakespearien sur votre animal de compagnie ou obtenir quelques idées de lignes d'objet pour certains e-mails marketing, c'est également bon pour OpenAI. C'est un moyen d'obtenir beaucoup de données d'utilisateurs réels et sert de démonstration sophistiquée de la puissance de GPT, qui pourrait autrement sembler un peu floue à moins que vous ne soyez plongé dans l'apprentissage automatique.

À l'heure actuelle, ChatGPT propose deux modèles GPT. La valeur par défaut, GPT-3.5, est moins puissante mais disponible gratuitement pour tous. Le GPT-4 plus avancé est limité aux abonnés ChatGPT Plus, et même eux ne reçoivent qu'un nombre limité de questions chaque jour.

L'une des grandes fonctionnalités de ChatGPT est qu'il peut se souvenir de la conversation que vous avez avec lui. Cela signifie qu'il peut glaner le contexte de tout ce que vous lui avez demandé précédemment, puis l'utiliser pour informer sa conversation avec vous. Vous pouvez également demander des retouches et des corrections, et cela fera référence à tout ce dont vous aviez discuté auparavant. Cela donne l'impression d'interagir avec l'IA comme un véritable va-et-vient.

Si vous voulez vraiment vous faire une idée, passez cinq minutes à jouer avec ChatGPT maintenant (c'est gratuit !), puis revenez pour en savoir plus sur son fonctionnement.

Comment fonctionne ChatGPT ?

Cet énorme ensemble de données a été utilisé pour former un réseau neuronal d'apprentissage en profondeur [ ... ] modélisé d'après le cerveau humain, ce qui a permis à ChatGPT d'apprendre des modèles et des relations dans les données textuelles [ ... ] en prédisant quel texte devrait suivre dans une phrase donnée. .

ChatGPT fonctionne en essayant de comprendre votre invite, puis en crachant des chaînes de mots qui, selon lui, répondront le mieux à votre question, en fonction des données sur lesquelles il a été formé.

Parlons en fait de cette formation. C'est un processus où l'IA naissante reçoit des règles de base, puis elle est soit mise en situation, soit chargée de données à traiter afin de développer ses propres algorithmes.

GPT-3 a été formé sur environ 500 milliards de "jetons", ce qui permet à ses modèles de langage d'attribuer plus facilement un sens et de prédire un texte de suivi plausible. De nombreux mots correspondent à des jetons uniques, bien que des mots plus longs ou plus complexes se décomposent souvent en plusieurs jetons. En moyenne, les jetons font environ quatre caractères. OpenAI est resté silencieux sur le fonctionnement interne de GPT-4, mais nous pouvons supposer en toute sécurité qu'il a été formé sur à peu près le même ensemble de données car il est encore plus puissant.

Tous les jetons provenaient d'un corpus massif de données écrites par des humains. Cela inclut des livres, des articles et d'autres documents sur tous les sujets, styles et genres différents, ainsi qu'une quantité incroyable de contenu récupéré sur Internet. Fondamentalement, il était permis de parcourir la somme totale des connaissances humaines.

Cet énorme ensemble de données a été utilisé pour former un réseau neuronal d'apprentissage en profondeur - un algorithme complexe, à plusieurs couches et pondéré, modélisé d'après le cerveau humain - qui a permis à ChatGPT d'apprendre des modèles et des relations dans les données textuelles et d'exploiter la capacité de créer réponses en prédisant quel texte devrait venir ensuite dans une phrase donnée.

Bien que vraiment, cela sous-vente massivement les choses. ChatGPT ne fonctionne pas au niveau de la phrase. Au lieu de cela, il génère le texte des mots, des phrases et même des paragraphes ou des strophes qui pourraient suivre. Ce n'est pas le texte prédictif de votre téléphone qui devine sans ambages le mot suivant ; il essaie de créer des réponses entièrement cohérentes à n'importe quelle invite.

Pour affiner davantage la capacité de ChatGPT à répondre à une variété d'invites différentes, il a été optimisé pour le dialogue avec une technique appelée apprentissage par renforcement avec rétroaction humaine (RLHF). Essentiellement, les humains ont créé un modèle de récompense avec des données de comparaison (où deux ou plusieurs réponses de modèle ont été classées par des formateurs d'IA), afin que l'IA puisse apprendre quelle était la meilleure réponse.

Revenons au réseau de neurones qu'il a formé. Basé sur toute cette formation, le réseau de neurones de GPT-3 a 175 milliards de paramètres ou variables qui lui permettent de prendre une entrée - votre invite - puis, sur la base des valeurs et des pondérations qu'il donne aux différents paramètres (et une petite quantité de hasard ), affiche ce qu'il pense correspondre le mieux à votre demande. OpenAI n'a pas précisé le nombre de paramètres de GPT-4, mais on peut estimer sans risque qu'il s'agit de plus de 175 milliards et de moins que les 100 000 milliards de paramètres évoqués autrefois. Quel que soit le nombre exact, plus de paramètres ne signifient pas automatiquement mieux. Une partie de la puissance accrue de GPT-4 provient probablement du fait d'avoir plus de paramètres que GPT-3, mais beaucoup est probablement due à des améliorations dans la façon dont il a été formé.

En fin de compte, la façon la plus simple de l'imaginer est comme l'un de ces jeux "finir la phrase" auxquels vous jouiez quand vous étiez enfant.

En fin de compte, la façon la plus simple de l'imaginer est comme l'un de ces jeux "finir la phrase" auxquels vous jouiez quand vous étiez enfant. Par exemple, lorsque j'ai donné à ChatGPT en utilisant GPT-3 l'invite "Zapier est…", il a répondu en disant :

"Zapier est un outil d'automatisation basé sur le Web qui permet aux utilisateurs de connecter différentes applications Web ensemble afin d'automatiser les tâches répétitives et d'améliorer les flux de travail."

C'est le genre de phrase que vous pouvez trouver dans des centaines d'articles décrivant ce que fait Zapier, il est donc logique que ce soit le genre de chose qu'il crache ici. Mais quand mon éditeur lui a donné la même invite, il a dit :

"Zapier est un outil d'automatisation basé sur le Web qui permet aux utilisateurs de connecter différentes applications Web et d'automatiser les flux de travail entre elles."

C'est assez similaire, mais ce n'est pas exactement la même réponse. Ce caractère aléatoire (que vous pouvez contrôler dans certaines applications GPT-3 avec un paramètre appelé "température") garantit que ChatGPT ne se contente pas de répondre à chaque réponse avec ce qui équivaut à une réponse standard. Il exécute chaque invite à travers l'ensemble du réseau de neurones à chaque fois et lance quelques dés ici et là pour garder les choses fraîches. Il est peu probable que Zapier commence à affirmer que Zapier est une couleur de Mars, mais il confondra les mots suivants en fonction de leurs probabilités relatives.

(Pour ce que ça vaut, lors de l'exécution sur GPT-4, ChatGPT a déclaré : " Zapier est un outil d'automatisation basé sur le Web qui permet aux utilisateurs d'intégrer et d'automatiser des tâches entre diverses applications et services en ligne. » À peu près la même chose !)

Crachant des mots, pas des connaissances

Les créateurs de ChatGPT sont les premiers à dire qu'il peut produire des informations incorrectes (et éventuellement nuisibles), bien qu'ils travaillent dur pour y remédier.

Voici un exemple apprivoisé. Lorsque j'ai demandé à ChatGPT d'utiliser GPT-3 et GPT-4 pour répondre à "Harry Guinness est…", GPT-3 a d'abord répondu en demandant quelle Harry Guinness. Excellente question - nous sommes littéralement deux ! Alors j'ai dit "Harry Guinness l'écrivain" (c'est moi). GPT-4 a tout de suite deviné qui j'étais, même si les deux réponses étaient fascinantes :

GPT-3 : Harry Guinness est un écrivain et journaliste indépendant basé en Irlande. Il a écrit pour diverses publications, notamment The New York Times, The Guardian, The Huffington Post et Popular Mechanics. Il couvre des sujets allant de la technologie et de la photographie aux voyages et à la culture.

GPT-4 : Harry Guinness est un écrivain, photographe et expert en technologie irlandais. Il a écrit pour diverses publications, notamment How-To Geek, Lifehacker et Tuts+. Son travail se concentre principalement sur la technologie, les tutoriels et les astuces, ainsi que sur la photographie et l'édition d'images. Guinness s'est bâti la réputation de créer des guides détaillés qui aident les lecteurs à comprendre des sujets complexes ou à résoudre des problèmes de manière simple.

Les première et dernière lignes de GPT-3 sont tirées presque textuellement de mes différents sites Web et biographies d'auteurs sur le Web (bien que je me répertorie normalement comme écrivain et photographe indépendant, pas comme journaliste). Mais la liste des publications est essentiellement constituée. J'ai écrit pour le New York Times , mais pas pour The Guardian , The Huffington Post ou Popular Mechanics (j'écris régulièrement pour Popular Science , donc c'est peut-être de là que ça vient).

GPT-4 comprend bien la partie photographe et répertorie en fait certaines publications pour lesquelles j'ai écrit, ce qui est impressionnant, même si ce ne sont pas celles dont je serais le plus fier. C'est un excellent exemple de la façon dont OpenAI a pu augmenter la précision de GPT-4 par rapport à GPT-3, bien qu'il n'offre pas toujours la réponse la plus correcte.

Mais revenons à GPT-3 car son erreur fournit un exemple intéressant de ce qui se passe dans les coulisses de ChatGPT. Il ne sait rien de moi en fait. Il ne s'agit même pas de copier/coller depuis Internet et de faire confiance à la source de l'information. Au lieu de cela, il prédit simplement une chaîne de mots qui viendra ensuite en fonction des milliards de points de données dont il dispose.

Par exemple : Le New York Times est beaucoup plus souvent regroupé avec The Guardian et The Huffington Post qu'avec les endroits pour lesquels j'ai écrit, comme Wired , Outside , The Irish Times et, bien sûr, Zapier. Ainsi, lorsqu'il doit déterminer ce qui devrait suivre le New York Times , il ne s'appuie pas sur les informations publiées à mon sujet ; il extrait cette liste de grandes publications de toutes les données de formation dont il dispose. C'est très intelligent et semble plausible, mais ce n'est pas vrai.

GPT-4 fait un bien meilleur travail et cloue les publications, mais le reste de ce qu'il dit ressemble vraiment à des phrases de suivi plausibles. Je ne pense pas qu'il apprécie ma réputation : il dit juste le genre de choses qu'une biographie dit. C'est beaucoup mieux pour cacher son fonctionnement que GPT-3, bien qu'il utilise en fait à peu près la même technique.

Pourtant, il est très impressionnant de constater à quel point GPT s'est déjà amélioré. Pour l'instant, GPT-4 est verrouillé derrière un abonnement premium, de sorte que la plupart des contenus ChatGPT que vous voyez s'appuieront sur GPT-3, mais cela pourrait changer au fil du temps. Qui sait ce que GPT-5 apportera.

Qu'est-ce que l'API ChatGPT ?

OpenAI n'a pas une attitude juste nous avec sa technologie. La société dispose d'une plate-forme API qui permet aux développeurs d'intégrer la puissance de ChatGPT dans leurs propres applications et services (pour un prix, bien sûr).

Zapier utilise l'API ChatGPT pour alimenter sa propre intégration ChatGPT, qui vous permet de connecter ChatGPT à des milliers d'autres applications et d'ajouter l'IA à vos flux de travail critiques. Voici quelques exemples pour vous aider à démarrer, mais vous pouvez déclencher ChatGPT à partir de pratiquement n'importe quelle application.

Vous pouvez également utiliser les autres modèles d'OpenAI, comme DALL·E et Whisper, avec l'intégration OpenAI de Zapier. Automatisez les workflows qui impliquent la génération d'images et la transcription audio, directement à partir des applications que vous utilisez déjà.

Lecture connexe : Comment vous pouvez (et quand vous ne devriez pas) utiliser ChatGPT pour rédiger une copie marketing