KI: Vom Hype zur Produktion – AI: From Hype to Production

Doch was heißt Professionalisierung von DevOps? Blickt man in die Vergangenheit, so hat der zunehmende Einsatz von DevOps in vielen Unternehmen zu einer großen Lösungsvielfalt geführt. Das Ergebnis war oft gemischt: Standards wurden nicht eingehalten und Best Practices nicht umgesetzt. Dieser Entwicklung wurde unter anderem mit der Bereitstellung von Referenzarchitekturen und Musterlösungen begegnet. Dieser Ansatz war jedoch sehr starr und schränkte damit die Flexibilität der Entwickler stark ein.

Der aktuelle Trend geht daher in Richtung Platform Engineering – laut Gartner ein zentrales Thema der nächsten Jahre. Platform Engineering ist ein strategischer Ansatz, um den Entwicklungsteams grundlegende Infrastruktur und Werkzeuge sowie die notwendigen Prozesse zur Verfügung zu stellen, um deren Effizienz zu steigern und die Anzahl wiederkehrender Aufgaben zu reduzieren.

Im Mittelpunkt stehen dabei die konkreten Bedürfnisse der Nutzerinnen und Nutzer. Zu diesem Zweck stellen die Plattformingenieure den Entwicklerinnen und Entwicklern maßgeschneiderte Produkte mit den benötigten Funktionalitäten zur Verfügung, die von umfangreichen Self-Service-Funktionen bis hin zu anwendungsfallorientierten Vorlagen reichen. Auf diese Weise wird sichergestellt, dass die Software den Best Practices und Standards der Organisation entspricht, ohne dass diese die Entwicklungsteams einschränken.

Eine wesentliche Komponente des Platform Engineering ist die „Internal Developer Platform“ (IDP), die den Entwicklern eine Sammlung von Werkzeugen und Technologien zur Verfügung stellt, die sie zum Erstellen, Testen und Ausliefern von Software benötigen. Bestandteile sind neben den „Software Templates“ oder allgemein Vorlagen auch die notwendigen Integrationen mit den verwendeten CI/CD-Werkzeugen und Ablaufumgebungen. All dies wird teilweise als sogenannte Plugins integriert und individuell an die Bedürfnisse der Teams angepasst.

Neben der Professionalisierung von DevOps durch Platform Engineering geht es im Kontext von KI dann zwangsläufig um das Thema MLOps, gewissermaßen die DevOps-Adaption für Machine Learning (ML). MLOps ähnelt dem DevOps-Konzept, allerdings geht es hier um das Deployment und Management sowie das Training von ML-Modellen. Das heißt, MLOps unterstützt die effiziente Entwicklung, Bereitstellung und Verwaltung von Machine-Learning-Modellen.

Auch hier ist das Konzept des Platform Engineering von Bedeutung, das eine nahtlose Verbindung zwischen DevOps und MLOps bzw. zwischen Entwicklern und Data Scientists ermöglicht. Data Scientists sind für die Entwicklung und das Training der KI-Modelle verantwortlich und stellen kuratierte Versionen der Modelle z.B. in einem Softwarekatalog für die Produktion bereit.

Ein Softwareentwickler muss dann nicht lange nach einem geeigneten Modell für einen bestimmten Anwendungsfall suchen, sondern greift auf einen vorbereiteten Katalog zu, aus dem er die Attribute der Modelle entnehmen kann. Durch die Auswahl in entsprechenden Software-Templates wird dann die Anbindung an den Anwendungscode bereitgestellt.

Eine zentrale Voraussetzung für die einfache und schnelle Produktivsetzung und Integration von Modellen in neue und bestehende Anwendungen ist daher eine Plattform, die alle notwendigen Aspekte abdeckt, also nicht nur die Softwareentwicklung, sondern auch die Entwicklung von KI-Modellen, das Training von KI-Modellen und die Integration von KI-Modellen in die Anwendungslandschaft. Es geht also um eine Plattform, die als Basis für DevOps, Platform Engineering und MLOps dienen kann und unterschiedlichste Prozesse vereinheitlicht.

Dabei darf man eines nicht vergessen: Es ist zwar ein relativ neues Thema, KI in großen Stückzahlen in die Produktion zu bringen. Dabei geht es aber keineswegs nur um große Sprachmodelle, sondern beispielsweise auch um prädiktive oder analytische KI. Auch hier gibt es Herausforderungen, die letztlich nur mit einem Plattformansatz sinnvoll bewältigt werden können.

But what does professionalizing DevOps mean? If we look at the past, the increasing use of DevOps in many organizations has led to a wide variety of solutions. The result was often mixed: standards were not followed and best practices were not implemented. One way to address this was to provide reference architectures and sample solutions. However, this approach was very rigid and limited the flexibility of developers.

The current trend is toward platform engineering – a key theme for the coming years, according to Gartner. Platform engineering is a strategic approach to providing development teams with the basic infrastructure, tools, and processes to increase their efficiency and reduce the number of repetitive tasks.

The focus is on the specific needs of users. To that end, platform engineers provide developers with tailored products that deliver the functionality they need, from rich self-service capabilities to business-case-driven templates. This ensures that the software complies with the organization’s best practices and standards without restricting the development teams.

A key component of platform engineering is the Internal Developer Platform (IDP), which provides developers with a collection of tools and technologies they need to build, test, and deploy software. In addition to the „software templates“ or templates in general, the components also include the necessary integrations with the CI/CD tools and process environments used. All of this is partially integrated as plug-ins and individually adapted to the needs of the teams.

In addition to the professionalization of DevOps through platform engineering, the topic of MLOps – the DevOps adaptation for machine learning (ML), so to speak – inevitably arises in the context of AI. MLOps is similar to the DevOps concept, but it includes the deployment, management, and training of ML models. This means that MLOps supports the efficient development, deployment and management of machine learning models.

The concept of platform engineering is also important here, as it enables a seamless connection between DevOps and MLOps, or between developers and data scientists. Data scientists are responsible for developing and training AI models and deploying curated versions of the models, such as in a software catalog for production.

A software developer does not have to search for a suitable model for a specific use case, but rather accesses a pre-prepared catalog from which he can take the attributes of the models. The connection to the application code is then made by selecting the appropriate software templates.

A key requirement for easy and fast production implementation and integration of models into new and existing applications is therefore a platform that covers all the necessary aspects, i.e. not only software development, but also the development of AI models, the training of AI models and the integration of AI models into the application landscape.

It is therefore a platform that can serve as a foundation for DevOps, platform engineering, and MLOps, standardizing a variety of processes.

One thing to keep in mind: Bringing AI into production at scale is a relatively new topic. However, it is not just about large language models, but also about predictive or analytical AI, for example. Here, too, there are challenges that can only be effectively addressed with a platform approach.