Red Hat Enterprise Linux AI (RHEL AI)

Während der Developer Preview wird Red Hat Enterprise Linux AI von der Community unterstützt, ohne dass Red Hat dafür Support oder eine Vergütung leistet. RHEL AI basiert auf dem Open-Source-Projekt InstructLab und kombiniert Open-Source-lizenzierte Granite-Großsprachenmodelle von IBM Research und InstructLab-Tools zum Modellabgleich, die auf der LAB-Methode (Large-scale Alignment for chatBots) basieren, in einem optimierten, bootfähigen RHEL-Image, um die Serverimplementierung zu vereinfachen.

Das Hauptziel von RHEL AI und dem InstructLab Projekt ist es, Domänenexperten in die Lage zu versetzen, ihr Wissen und ihre Fähigkeiten direkt in Large Language Models einzubringen. Auf diese Weise können Domänenexperten KI-basierte Anwendungen (z.B. Chatbots) effizienter entwickeln. RHEL AI enthält alles, was Sie benötigen, um

– Community-Innovationen durch Open-Source-Modelle und Open-Source-Fähigkeiten und -Wissen für das Training zu nutzen.

– Bereitstellung eines benutzerfreundlichen Satzes von Software-Tools und Workflows, die auf Fachkräfte ohne Erfahrung im Bereich Data Science zugeschnitten sind und es ermöglichen, Schulungen und Feinabstimmungen durchzuführen.

– Paketierung von Software und Betriebssystem mit optimierter KI-Hardwarefähigkeit

– Unternehmensunterstützung und Entschädigung für geistiges Eigentum

Hintergrund

Große Sprachmodelle (LLMs) und darauf basierende Dienste (wie GPT und chatGPT) sind bekannt und werden zunehmend von Unternehmen eingesetzt. Diese Modelle sind in der Regel Closed Source oder mit einer kundenspezifischen Lizenz versehen. In letzter Zeit sind einige offene Modelle entstanden (wie Mistral, Llama, OpenELM). Die Offenheit einiger dieser Modelle ist jedoch begrenzt (z. B. Einschränkungen hinsichtlich der kommerziellen Nutzung und/oder mangelnde Offenheit in Bezug auf Trainingsdaten, Transformationsgewichte und andere Faktoren im Zusammenhang mit der Reproduzierbarkeit). Der vielleicht wichtigste Faktor ist der Mangel an Möglichkeiten für Gemeinschaften, zusammenzuarbeiten und zu den Modellen beizutragen, um sie zu verbessern.

LLMs sind heute groß und universell. Red Hat stellt sich eine Welt zweckgebundener, kosten- und leistungsoptimierter Modelle vor, die von erstklassigen MLOps-Tools umgeben sind, bei denen Datenschutz, Datensouveränität und Vertraulichkeit im Vordergrund stehen.

Die Trainingspipeline zur Feinabstimmung von LLMs erfordert datenwissenschaftliche Expertise und kann teuer sein, sowohl in Bezug auf den Ressourceneinsatz für das Training als auch in Bezug auf die Kosten für hochwertige Trainingsdaten.

Red Hat (zusammen mit IBM und der Open-Source-Community) schlägt vor, dies zu ändern und schlägt vor, den bekannten Open-Source-Workflow und die damit verbundenen Konzepte wie freie Lizenzen (z.B. Apache2) für Modelle und offene Kollaborationswerkzeuge einzuführen. Dies kann es einer Gemeinschaft von Nutzern ermöglichen, Beiträge zu LLMs zu erstellen und hinzuzufügen.

Dies wird auch ein Ökosystem von Partnern in die Lage versetzen, Angebote und Werte bereitzustellen, um Erweiterungen und die Integration proprietärer Informationen durch Unternehmen zu ermöglichen.

Die vier Säulen von Red Hat Enterprise Linux AI

Red Hat Enterprise Linux AI besteht aus vier grundlegenden Komponenten:

1. Offene Granite-Modelle

RHEL AI enthält hochperformante, Open-Source-lizenzierte Granite Sprach- und Code-Modelle, die gemeinsam von der InstructLab Community entwickelt wurden und von Red Hat vollständig unterstützt und vergütet werden. Diese Granite-Modelle sind unter Apache 2 lizenziert und bieten transparenten Zugang zu Datenquellen und Modellgewichten.

Benutzer können ihre eigenen LLMs erstellen, indem sie die Basismodelle mit ihren eigenen Fähigkeiten und Kenntnissen trainieren. Sie können wählen, ob sie das trainierte Modell und die hinzugefügten Fähigkeiten und Kenntnisse mit der Gemeinschaft teilen oder für sich behalten wollen. Mehr dazu im nächsten Abschnitt.

Für die Developer Preview haben die Anwender Zugriff auf das englischsprachige Granite 7b Modell (Basis) und das entsprechende Granite 7b LAB Modell (mehr zu LAB siehe unten).

In Zukunft wird Red Hat Enterprise Linux AI weitere Granite-Modelle enthalten, darunter auch die Granite Code Model Family. Halten Sie sich diesbezüglich auf dem Laufenden.

2. InstructLab Modell-Alignment

LAB: Large-Scale Alignment for ChatBots ist ein neuartiger Ansatz für das Instruct Alignment und die Feinabstimmung von großen Sprachmodellen mit einem Taxonomie-gesteuerten Ansatz, der qualitativ hochwertige synthetische Daten erzeugt. Einfach ausgedrückt, ermöglicht es Benutzern, ein LLM mit domänenspezifischem Wissen und Fähigkeiten anzupassen. InstructLab generiert dann qualitativ hochwertige synthetische Daten, die für das Training des LLM verwendet werden. Ein Wiederholungspuffer wird verwendet, um das Vergessen zu verhindern.

InstructLab ist der Name der Software, die die LAB-Technologie implementiert. Es besteht aus einer Kommandozeilenschnittstelle, die mit einem lokalen Git-Repository von Fähigkeiten und Wissen interagiert, einschließlich neuer, vom Benutzer hinzugefügter Fähigkeiten und Wissen, um synthetische Daten zu erzeugen, das LLM zu trainieren, das trainierte Modell zu bedienen und mit ihm zu chatten.

Für die Entwicklervorschau verwendet InstructLab a) einen Git-Workflow für das Hinzufügen von Fähigkeiten und Wissen, b) Mixtral als Lehrermodell für die Generierung synthetischer Daten, c) deepspeed für das phasenweise Training und d) vllm als Inferenzserver.  Darüber hinaus bietet das Tooling Gates, die menschliche Überprüfung und Feedback ermöglichen. Wir arbeiten daran, weitere Tools hinzuzufügen, um die Anwendung in Zukunft einfacher und skalierbarer zu machen. Wie bei jedem Open Source Projekt können Sie die Richtung mitbestimmen!

InstructLab ist auch der Name des Open-Source-Community-Projekts, das von Red Hat in Zusammenarbeit mit IBM Research ins Leben gerufen wurde. Das Community-Projekt sammelt Beiträge in einer öffentlichen, unter Apache 2.0 lizenzierten Taxonomie, die von Community-Mitgliedern gepflegt wird. In regelmäßigen Abständen wird der Community ein vom LAB trainiertes Modell zur Verfügung gestellt, das die Beiträge der Community-Taxonomie zum Modell enthält.

3. Optimiertes bootfähiges Red Hat Enterprise Linux für Granite-Modelle und InstructLab

Die oben genannten Granite-Modelle und InstructLab-Tools werden heruntergeladen und auf einem bootfähigen RHEL-Image mit einem optimierten Software-Stack für gängige Hardware-Beschleuniger von Herstellern wie AMD, Intel und NVIDIA bereitgestellt. Darüber hinaus können diese RHEL AI-Images über das Red Hat Certified Ecosystem gebootet und ausgeführt werden, einschließlich öffentlicher Clouds (IBM Cloud validiert in der Developer Preview) und AI-optimierter Server von Dell, Cisco, HPE, Lenovo und SuperMicro.

Erste Tests zeigen, dass 320 GB VRAM (4 x NVIDIA H100 GPUs) oder ein Äquivalent erforderlich sind, um einen InstructLab-Durchlauf in angemessener Zeit durchzuführen.

4. Support, Lebenszyklus und Kompensation

Sobald die General Availability (GA) erfolgt, beinhalten die Red Hat Enterprise Linux AI-Abonnements Enterprise Support, einen vollständigen Produktlebenszyklus, beginnend mit dem Granite 7B-Modell und der Software, sowie eine IP-Kompensation von Red Hat.

During the developer preview, Red Hat Enterprise Linux AI is community-supported with no Red Hat support and no indemnification. RHEL AI is based on the InstructLab open source project and combines open source-licensed Granite large language models from IBM Research and InstructLab model alignment tools, based on the LAB (Large-scale Alignment for chatBots) methodology, in an optimized, bootable RHEL image to simplify server deployments.

The main objective of RHEL AI and the InstructLab project is to empower domain experts to contribute directly to Large Language Models with knowledge and skills. This allows domain experts to more efficiently build AI-infused applications (such as chatbots). RHEL AI includes everything you need by:

• taking advantage of community innovation via open source models and open source skills and knowledge for training
• providing a user-friendly set of software tools and workflow that targets domain experts without data science experience and allows them to do training and fine tuning
• packaging software and operating system with optimized AI hardware enablement
• enterprise support and intellectual property indemnification

Background

Large Language Models (LLMs) and services based on them (like GPT and chatGPT) are well-known and increasingly adopted by enterprise organizations. These models are most often closed source, or with a custom license. More recently, a number of open models have started to appear (like Mistral, Llama, OpenELM). However, the openness of some of these models is limited (for example: limitations on commercial use and/or lack of openness when it comes to training data and transformer weights and other factors related to reproducibility). The most important factor perhaps is the absence of ways in which communities can collaborate and contribute to the models to improve them.

LLMs today are large and general-purpose. Red Hat envisions a world of purpose-built, cost- and performance-optimized models, surrounded by world class MLOps tooling placing data privacy, sovereignty, and confidentiality at the forefront.

The training pipeline to fine-tune LLMs requires data science expertise, and can be expensive: both in terms of resource usage for training, and also because of the cost of high-quality training data.

Red Hat (together with IBM and the open source community) proposes to change that and to introduce the familiar open source contributor workflow and associated concepts like permissive licensing (e.g. Apache2) to models and the tools for open collaboration that enable a community of users to create and add contributions to LLMs. This will also empower an ecosystem of partners to deliver offerings and value to enable extensions and the incorporation of protected information by enterprises.

Four pillars of Red Hat Enterprise Linux AI

Red Hat Enterprise Linux AI is comprised of four distinct foundational components:

1. Open Granite models

RHEL AI includes highly performant, open source licensed, collaboratively-developed Granite language and code models from the InstructLab community, fully supported and indemnified by Red Hat. These Granite models are Apache 2 licensed and provide transparent access to data sources and model weights.

Users can create their own custom LLM by training the base models with their own skills and knowledge. They can choose to either share the trained model and the added skills and knowledge with the community or keep them private. See more on that in the next section.

For developer preview, users have access to the Granite 7b english language (base) model, and the corresponding Granite 7b LAB model (see below for more on LAB).

In the future, Red Hat Enterprise Linux AI will also include additional Granite models including the Granite code model family. Stay tuned for that.

2. InstructLab model alignment

LAB: Large-Scale Alignment for ChatBots is a novel approach to instruction alignment and fine tuning of large language models with a taxonomy-driven approach leveraging high-quality synthetic data generation. In simpler terms, it allows for users to customize an (LLM with domain-specific knowledge and skills. InstructLab then generates high-quality synthetic data that is used to train the LLM. A replay buffer is used to prevent forgetting. See section 3.3 of the academic paper for more details.

The LAB technique contains four distinct steps (see diagram):

• Taxonomy based skills and knowledge representation
• Synthetic data generation (SDG) with a teacher model
• Synthetic data validation with a critic model.
• Skills and knowledge training on top of the student model(s)

InstructLab is the name of the software that implements the LAB technique. It consists of a command-line interface that interacts with a local git repository of skills and knowledge, including new ones that the user has added, to generate synthetic data, run the training of the LLM, to serve the trained model and chat with it.

For the developer preview, InstructLab uses a) a git workflow for adding skills and knowledge, b) Mixtral as the teacher model for generating synthetic data, c) deepspeed for phased training and d) vllm as the inference server.  In addition to that, the tooling offers gates that allow for human review and feedback. Red Hat and IBM are working to add more tooling to make it easier and scalable in the future. As with any open source project, you can help steer its direction!

InstructLab is also the name of the open source community project started by Red Hat in collaboration with IBM research. The community project brings together contributions into a public, Apache 2.0 -licensed taxonomy that is maintained by community members. A LAB trained model is released periodically to the community that includes community taxonomy contributions to the model.

3. Optimized bootable Red Hat Enterprise LInux for Granite models and InstructLab

The aforementioned Granite models & InstructLab tooling are downloaded and deployed on a bootable RHEL image with an optimized software stack for popular hardware accelerators from vendors like AMD, Intel and NVIDIA. Furthermore, these RHEL AI images will boot and run across the Red Hat Certified Ecosystem including public clouds (IBM Cloud validated at developer preview) and AI-optimized servers from Dell, Cisco, HPE, Lenovo and SuperMicro. Initial testing indicates that with 320GB VRAM (4 x NVIDIA H100 GPUs) or equivalent is needed to complete an end to end InstructLab run in a reasonable amount of time.

4. Enterprise support, lifecycle & indemnification

At general availability (GA), Red Hat Enterprise Linux AI Subscriptions will include enterprise support, a complete product life cycle starting with the Granite 7B model and software, and IP indemnification by Red Hat.