Red Hat Enterprise Linux AI

Die Plattform kombiniert die Open-Source-lizenzierte Granite-Large-Language-Model (LLM)-Familie und die InstructLab-Modell-Alignment-Tools, die auf der Methode Large-scale Alignment for chatBots (LAB) basieren. Die Lösung ist als optimiertes, bootfähiges RHEL-Image für die Bereitstellung einzelner Server in der Hybrid Cloud paketiert.

Die generative KI verspricht viele Vorteile, aber die damit verbundenen Kosten für die Beschaffung, das Training und die Feinabstimmung von LLMs können astronomisch sein. Bei einigen führenden Modellen können bis zur Markteinführung Kosten von fast 200 Millionen US-Dollar für das Training anfallen.

Nicht eingerechnet sind dabei die Kosten für die Anpassung an unternehmensspezifische Anforderungen oder Daten, für die in der Regel hochspezialisierte Data Scientists oder Entwickler benötigt werden. Unabhängig davon, welches Modell für eine bestimmte Anwendung gewählt wird, ist eine Anpassung an die unternehmensspezifischen Daten und Prozesse unabdingbar. Nur so kann KI Effizienz und Agilität in realen Produktionsumgebungen bieten.

Red Hat geht davon aus, dass in den nächsten zehn Jahren kleinere, effizientere und anforderungsspezifische KI-Modelle neben Cloud-nativen Anwendungen einen wesentlichen Teil des IT-Stacks von Unternehmen ausmachen werden. Um dies zu erreichen, muss generative KI jedoch leichter zugänglich und verfügbar sein – von den Kosten über die Mitwirkenden bis hin zur Möglichkeit, sie in der Hybrid Cloud einzusetzen.

Jahrzehntelang haben Open-Source-Gemeinschaften geholfen, ähnliche Herausforderungen bei komplexen Softwareproblemen durch Beiträge verschiedener Nutzergruppen zu bewältigen; ein vergleichbarer Ansatz kann nun die Hürden für eine effektive Einführung der generativen KI überwinden.

Ein Open-Source-Ansatz für generative KI

Mit RHEL AI wird generative KI für CIOs und IT-Organisationen in der Hybrid Cloud zugänglicher, effizienter und flexibler. RHEL AI unterstützt unter anderem

– Förderung von Innovationen in der generativen KI mit unternehmenstauglichen, Open-Source-lizenzierten Granite-Modellen, die auf eine Vielzahl von Anwendungsfällen der generativen KI zugeschnitten sind.

– die Anpassung von Modellen der generativen KI an Geschäftsanforderungen mit dem InstructLab-Tool, das es Domänenexperten und Entwicklern innerhalb einer Organisation ermöglicht, ihre Modelle mit individuellen Fähigkeiten und Wissen anzureichern, auch ohne umfassende Data-Science-Kenntnisse.

– Training und Bereitstellung von generativer KI in der Hybrid Cloud durch Bereitstellung aller Tools, die für das Tuning und Deployment von Modellen auf Produktionsservern erforderlich sind, unabhängig davon, wo die zugehörigen Daten gespeichert sind. RHEL AI bietet außerdem einen sofortigen Einstieg in Red Hat OpenShift AI, um Modelle mit denselben Tools und Konzepten zu trainieren, zu tunen und in großem Umfang bereitzustellen.

RHEL AI bietet außerdem die Vorteile einer Red Hat Subscription, die eine vertrauenswürdige Produktdistribution für Unternehmen, 24×7 Support, erweiterten Support für den Modell-Lebenszyklus und rechtlichen Schutz durch Open Source Assurance umfasst.

RHEL AI als Erweiterung der Hybrid Cloud​

Die Bereitstellung einer konsistenten Basismodellplattform, die näher an den Daten eines Unternehmens liegt, ist für die Unterstützung von KI-Strategien im Produktivbetrieb entscheidend. Als Erweiterung des Hybrid-Cloud-Portfolios von Red Hat wird RHEL AI nahezu jede mögliche Unternehmensumgebung abdecken, von On-Premise-Rechenzentren über Edge-Umgebungen bis hin zur Public Cloud. Folglich wird RHEL AI direkt von Red Hat, von OEM (Original Equipment Manufacturer)-Partnern von Red Hat und bei den weltweit größten Cloud-Anbietern, einschließlich Amazon Web Services (AWS), Google Cloud Platform (GCP), IBM Cloud und Microsoft Azure, verfügbar sein. Dies ermöglicht es Entwicklern und IT-Organisationen, die Leistung von Hyperscaler-Rechenressourcen zu nutzen, um mit RHEL AI innovative KI-Konzepte zu entwickeln.

Verfügbarkeit​

RHEL AI ist ab sofort allgemein verfügbar: zum einen über das Red Hat Customer Portal für die On-Premises-Nutzung und zum anderen als BYOS (Bring Your Own Subscription)-Angebot auf AWS und IBM Cloud. Die Verfügbarkeit eines BYOS-Angebots auf Azure und GCP ist für das vierte Quartal 2024 geplant und RHEL AI wird voraussichtlich noch in diesem Jahr auch auf IBM Cloud as a Service erhältlich sein.

Red Hat beabsichtigt, den Kreis der RHEL-AI-Cloud- und OEM-Partner in den kommenden Monaten zu erweitern, um noch mehr Auswahl in Hybrid-Cloud-Umgebungen zu bieten.

Zitate​

Joe Fernandes, Vice President und General Manager, Foundation Model Platforms, Red Hat
„Damit Applikationen der generativen KI im Unternehmen wirklich erfolgreich sein können, müssen sie einer breiteren Gruppe von Organisationen und Anwendern zugänglich gemacht werden und für spezifische Geschäftsanforderungen besser nutzbar sein. RHEL AI bietet Domain-Experten, nicht nur Data Scientists, die Möglichkeit, zu einem zweckgebundenen generativen KI-Modell in der Hybrid Cloud beizutragen und gleichzeitig IT-Organisationen in die Lage zu versetzen, diese Modelle über Red Hat OpenShift AI für den Produktivbetrieb zu skalieren.“

Hillery Hunter, CTO und General Manager of Innovation, IBM Infrastructure
„IBM ist bestrebt, Unternehmen bei der Entwicklung, der Bereitstellung und der schnellen Skalierung effizienter KI-Modelle zu unterstützen. RHEL AI on IBM Cloud bringt Open-Source-Innovationen an die vorderste Front bei der Einführung von generativer KI. Dadurch können mehr Unternehmen und einzelne Anwender auf die Leistungsfähigkeit der KI zugreifen, sie skalieren und nutzen. Mit RHEL AI, das die Vorteile von InstructLab und IBMs Granite-Modellfamilie vereint, erzeugen wir Modelle der generativen KI, die Nutzern dabei helfen werden, echte geschäftliche Erfolge unternehmensweit zu realisieren.“

Jim Mercer, Program Vice President, Software Development, DevOps & DevSecOps, IDC
„Bei den Vorteilen der KI für Unternehmen sind auch die Größe der KI-Modelllandschaft und die inhärente Komplexität bei der Auswahl, dem Tuning und der Pflege von internen Modellen zu beachten. Kleinere, zweckgebundene und breiter zugängliche Modelle können KI-Strategien für eine größere Gruppe von Anwendern und Unternehmen realisierbar machen, und das ist der Bereich, auf den Red Hat mit RHEL AI als grundlegende Modellplattform abzielt.“

The platform combines the open source Granite-Large Language Model (LLM) family and InstructLab model alignment tools based on the Large-scale Alignment for chatBots (LAB) methodology. The solution is packaged as an optimized, bootable RHEL image for deployment on single servers in the hybrid cloud.

Generative AI promises many benefits, but the associated costs of acquiring, training, and fine-tuning LLMs can be astronomical. Some leading models can cost close to $200 million to train before going to market.

This does not include the cost of customization for company-specific requirements or data, which typically requires highly specialized data scientists or developers. Regardless of which model is chosen for a particular application, it is essential to customize it to company-specific data and processes. This is the only way AI can deliver efficiency and agility in real production environments.

Red Hat believes that in the next decade, smaller, more efficient, and on-demand AI models will become a significant part of the enterprise IT stack, alongside cloud-native applications. To achieve this, however, generative AI must become more accessible and available-from the cost of contributions to the ability to deploy in the hybrid cloud.

For decades, open source communities have helped overcome similar challenges to complex software problems through contributions from diverse user groups; a similar approach can now overcome the barriers to effective adoption of generative AI.

An Open Source Approach to Generative AI

RHEL AI makes generative AI more accessible, efficient, and flexible for CIOs and IT organizations in the hybrid cloud. Among other things, RHEL AI supports

– Drive innovation in generative AI with enterprise-ready, open source-licensed Granite models tailored to a variety of generative AI use cases.

– Customize generative AI models to meet business needs with the InstructLab tool, which enables domain experts and developers within an organization to enrich their models with individual skills and knowledge, even without extensive data science expertise.

– Train and deploy generative AI in the hybrid cloud by providing all the tools needed to tune and deploy models on production servers, regardless of where the associated data resides. RHEL AI also provides an instant on-ramp to Red Hat OpenShift AI to train, tune, and deploy models at scale using the same tools and concepts.

RHEL AI also offers the benefits of a Red Hat Subscription, which include trusted enterprise product distribution, 24×7 support, extended model lifecycle support, and legal protection through Open Source Assurance.

RHEL AI Extends the Hybrid Cloud

Providing a consistent base model platform that is closer to an organization’s data is critical to supporting AI strategies in production. As an extension of Red Hat’s hybrid cloud portfolio, RHEL AI will cover nearly every possible enterprise environment, from on-premises data centers to edge environments to the public cloud.

As a result, RHEL AI will be available directly from Red Hat, from Red Hat’s original equipment manufacturer (OEM) partners, and from the world’s largest cloud providers, including Amazon Web Services (AWS), Google Cloud Platform (GCP), IBM Cloud, and Microsoft Azure. This enables developers and IT organizations to harness the power of hyperscale compute resources to develop innovative AI concepts with RHEL AI.

Availability

RHEL AI is now generally available for on-premises use through the Red Hat Customer Portal and as a Bring Your Own Subscription (BYOS) offering on AWS and IBM Cloud. Availability of a BYOS offering on Azure and GCP is planned for Q4 2024, and RHEL AI is also expected to be available as a service on IBM Cloud later this year.

Red Hat plans to expand the RHEL AI cloud and OEM partners in the coming months to provide even more choice in hybrid cloud environments.

Featured quotes

Joe Fernandes, vice president and general manager, Foundation Model Platforms, Red Hat

„For generative AI applications to be truly successful in the enterprise, they must be made accessible to a broader set of organizations and users, and made more usable for specific business needs. RHEL AI gives domain experts, not just data scientists, the ability to contribute to a purpose-built generative AI model in the hybrid cloud, while enabling IT organizations to scale these models to production via Red Hat OpenShift AI.“

Hillery Hunter, CTO and general manager of innovation, IBM Infrastructure

„IBM is committed to helping organizations develop, deploy and rapidly scale efficient AI models. RHEL AI on IBM Cloud brings open source innovation to the forefront of generative AI adoption. This enables more organizations and individual users to access, scale and leverage the power of AI. With RHEL AI, which combines the benefits of InstructLab and IBM’s Granite family of models, we are creating generative AI models that will help users realize real business impact across the enterprise.“

Jim Mercer, Program Vice President, Software Development, DevOps & DevSecOps, IDC

„The benefits of AI for enterprises also include the size of the AI model landscape and the inherent complexity of selecting, tuning, and maintaining internal models. Smaller, purpose-built, and more widely accessible models can make AI strategies viable for a larger group of users and organizations, and that’s where Red Hat is going with RHEL AI as the foundational modeling platform.“