Nouveau clone de ChatGPT Open Source - Appelé Dolly

Open Source GPT Chat a franchi une nouvelle étape avec la sortie du modèle linguistique Dolly Large (DLL) créé par l'entreprise de logiciels d'entreprise Databricks.

La nouvelle version du clone de ChatGPT s'appelle Dolly, en référence à la célèbre brebis du même nom, le premier mammifère à avoir été cloné.

Modèles Linguistiques Open Source de Grande Envergure

La Dolly LLM est la dernière manifestation du mouvement croissant de l'intelligence artificielle en source ouverte qui cherche à offrir un accès accru à la technologie afin qu'elle ne soit pas monopolisée et contrôlée par de grandes entreprises.

L'une des préoccupations qui alimente le mouvement de l'IA open source est que les entreprises pourraient hésiter à confier des données sensibles à un tiers qui contrôle la technologie de l'IA.

Basé sur un code source ouvert

Dolly a été créée à partir d'un modèle open source créé par l'institut de recherche à but non lucratif EleutherAI et le modèle Alpaca de l'Université Stanford, lui-même créé à partir du modèle LLaMA open source de 65 milliards de paramètres créé par Meta.

LLaMA, qui signifie Large Language Model Meta AI, est un modèle linguistique qui est entraîné sur des données disponibles publiquement.

According to an article by Weights & Biases, LLaMA peut surpasser de nombreux modèles de langage de premier plan (OpenAI GPT-3, Gopher par Deep Mind et Chinchilla par DeepMind) malgré sa taille réduite.

Création d'un meilleur jeu de données

Une autre source d'inspiration provenait d'un article de recherche universitaire (SELF-INSTRUCT : Alignement des modèles de langue avec des instructions auto-générées PDF) qui exposait une méthode pour créer des données d'entraînement de questions-réponses de haute qualité, générées automatiquement, supérieures aux données publiques limitées.

Le document de recherche Self-Instruct explique :

« …nous sélectionnons et présentons un ensemble d'instructions rédigées par des experts pour des tâches inédites, et démontrons par évaluation humaine que l'optimisation de GPT3 avec SELF-INSTRUCT surpasse de loin l'utilisation des ensembles d'instructions publics existants, ne laissant qu'un écart absolu de 5 % par rapport à InstructGPT…

…En appliquant notre méthode à GPT3 de base, nous montrons une amélioration absolue de 33 % par rapport au modèle original pour SUPERNATURALINSTRUCTIONS, équivalente aux performances d'InstructGPT… qui est entraîné avec des données utilisateur privées et des annotations humaines. »

L'importance de Dolly est qu'elle démontre qu'un modèle de langage de grande taille et utile peut être créé avec un ensemble de données plus petit mais de haute qualité.

Databricks observe :

« Dolly fonctionne en prenant un modèle open source existant de 6 milliards de paramètres d'EleutherAI et en le modifiant légèrement pour susciter des capacités de suivi des instructions telles que le brainstorming et la génération de texte qui ne sont pas présentes dans le modèle original, en utilisant des données provenant d'Alpaca ».

...Nous montrons que n'importe qui peut prendre un modèle de langage large (LLM) open source prêt à l'emploi et lui donner la capacité magique de suivre des instructions à la manière de ChatGPT en l'entraînant pendant 30 minutes sur une seule machine, en utilisant des données d'entraînement de haute qualité.

Étonnamment, il semble que suivre les instructions ne nécessite pas les derniers ou plus grands modèles : notre modèle ne contient que 6 milliards de paramètres, comparé à 175 milliards pour GPT-3."

Databricks IA Open Source

Dolly est censée démocratiser l'IA. Cela fait partie d'un mouvement croissant auquel s'est récemment jointe l'organisation à but non lucratif Mozilla avec la création de Mozilla.ai. Mozilla est l'éditeur du navigateur Firefox et d'autres logiciels open source.