Sept Modèles GPT Open Source Gratuits Publiés

L'entreprise d'intelligence artificielle Cerebras, située dans la Silicon Valley, a publié sept modèles GPT en open source afin de proposer une alternative aux systèmes contrôlés de manière stricte et propriétaires disponibles aujourd'hui.

Les modèles GPT open source, libres de droits, y compris les poids et la recette de formation, ont été publiés sous la licence Apache 2.0 extrêmement permissive par Cerebras, une entreprise basée dans la Silicon Valley spécialisée dans les infrastructures d'intelligence artificielle pour les applications d'IA.

Dans une certaine mesure, les sept modèles GPT sont une preuve de concept pour le supercalculateur Cerebras Andromeda AI.

La plateforme Cerebras permet à leurs clients, comme Jasper AI Copywriter, de former rapidement leurs propres modèles de langage personnalisés.

Un article de blog Cerebras sur la technologie matérielle a noté :

"Nous avons formé tous les modèles Cerebras-GPT sur un cluster à l'échelle des plaquettes Cerebras Wafer-Scale 16x appelé Andromeda.

Ce cluster permettait de réaliser toutes les expériences rapidement, sans recourir aux systèmes distribués traditionnels et sans besoin de réglages de parallélisme du modèle sur des clusters GPU.

Surtout, il a permis à nos chercheurs de se concentrer sur la conception de l'apprentissage automatique plutôt que sur le système distribué. Nous pensons que la capacité à former facilement de grands modèles est un élément clé pour la communauté dans son ensemble, c'est pourquoi nous avons rendu le cluster Cerebras Wafer-Scale disponible dans le cloud via le Cerebras AI Model Studio."

Modèles Cerebras GPT et Transparence

Cerebras cite la concentration de la propriété de la technologie de l'IA à seulement quelques entreprises comme raison de la création de sept modèles de GPT en open source.

OpenAI, Meta et Deepmind conservent une grande quantité d'informations sur leurs systèmes en privé et sous un contrôle strict, ce qui limite l'innovation à ce que décident ces trois sociétés en ce qui concerne l'utilisation des données par les autres.

Est-ce qu'un système fermé est le meilleur pour l'innovation en IA ? Ou est-ce que l'open source est l'avenir ?

Cerebras écrit :

« Pour que les LLM soient une technologie ouverte et accessible, nous estimons qu'il est important d'avoir accès à des modèles de pointe qui sont ouverts, reproductibles et libres de droits, tant pour la recherche que dans le cadre d'applications commerciales.

Dans cette optique, nous avons entraîné une famille de modèles de transformation à l'aide des dernières techniques et des jeux de données ouverts que nous appelons Cerebras-GPT.

Ces modèles sont les premiers modèles GPT entraînés à l'aide de la formule Chinchilla et diffusés sous la licence Apache 2.0. »

Par conséquent, ces sept modèles sont publiés sur Hugging Face et GitHub pour encourager davantage de recherches grâce à l'accès libre à la technologie d'IA.

Ces modèles ont été entraînés avec le supercalculateur Andromeda d'intelligence artificielle de Cerebras, un processus qui n'a pris que quelques semaines pour être réalisé.

Cerebras-GPT est entièrement ouvert et transparent, contrairement aux derniers modèles GPT d'OpenAI (GPT-4), Deepmind et Meta OPT.

OpenAI et Deepmind Chinchilla ne proposent pas de licences pour utiliser les modèles. Meta OPT propose uniquement une licence non commerciale.

Le GPT-4 d'OpenAI ne fournit absolument aucune transparence sur ses données d'apprentissage. Ont-ils utilisé les données de Common Crawl? Ont-ils récupéré des informations sur Internet pour créer leur propre ensemble de données?

OpenAI garde ces informations (et plus encore) secrètes, ce qui contraste avec l'approche de Cerebras-GPT qui est entièrement transparente.

Voici tout ce qui est ouvert et transparent :

• Architecture du modèle
• Données d'entraînement
• Poids du modèle
• Points de contrôle
• État d'entraînement optimal pour le calcul (oui)
• Licence d'utilisation : Licence Apache 2.0

Les sept versions sont disponibles en modèles de 111M, 256M, 590M, 1.3B, 2.7B, 6.7B et 13B.

Il a été annoncé :

« Pour la première fois parmi les entreprises spécialisées dans le matériel d'IA, les chercheurs de Cerebras ont formé, sur le supercalculateur d'IA Andromeda, une série de sept modèles GPT avec 111M, 256M, 590M, 1,3B, 2,7B, 6,7B et 13B de paramètres. »

Généralement, cela prend plusieurs mois, mais ce travail a été réalisé en quelques semaines grâce à la vitesse incroyable des systèmes Cerebras CS-2 qui composent Andromeda, et à la capacité de l'architecture de flux de données de Cerebras d'éliminer les contraintes liées à l'informatique distribuée.

Ces résultats démontrent que les systèmes de Cerebras peuvent former les charges de travail en IA les plus grandes et les plus complexes aujourd'hui.

C'est la première fois qu'une suite de modèles GPT, formés à l'aide de techniques d'efficacité d'apprentissage de pointe, est rendue publique.

Ces modèles sont formés avec la plus grande précision pour un budget de calcul donné (c'est-à-dire une efficacité d'apprentissage utilisant la recette Chinchilla), ce qui réduit le temps de formation, le coût de formation et la consommation énergétique par rapport à tous les modèles publics existants. »

IA Open Source

La fondation Mozilla, créatrice du logiciel open source Firefox, a créé une entreprise appelée Mozilla.ai pour développer des systèmes open source GPT et des systèmes de recommandation fiables et respectueux de la vie privée.

Databricks a récemment également publié un clone de GPT appelé Dolly en open source, qui vise à démocratiser "la magie de ChatGPT".

En plus de ces sept modèles Cerebras GPT, une autre entreprise, appelée Nomic AI, a lancé GPT4All, un GPT open source pouvant fonctionner sur un ordinateur portable.

Le mouvement de l'intelligence artificielle open source est à un stade naissant mais gagne en momentum.

La technologie GPT est à l’origine de changements massifs dans de nombreux secteurs et il est possible, voire inévitable, que les contributions en open source puissent changer la face des industries qui accompagnent cette évolution.

Si le mouvement open source continue à avancer à ce rythme, nous pourrions être sur le point d'assister à un changement dans l'innovation en matière d'IA qui l'empêche de se concentrer entre les mains de quelques grandes entreprises.

Lisez l'annonce officielle :

Cerebras Systems publie sept nouveaux modèles GPT entraînés sur les systèmes à l'échelle de wafer CS-2