David Kanter, MLCommons Executive Director, stellte die MLPerf Benchmarks für Storage- und KI-Systeme auf der IT Press Tour vor. David Kanter, Executive Director of MLCommons, presented the MLPerf benchmarks for evaluating storage and AI systems at the IT Press Tour.
Im Jahr 2024 erlebt die KI-Branche ein rasantes Wachstum, das von der massiven Einführung generativer Modelle und einem immer höheren Rechenbedarf angetrieben wird. Vor diesem Hintergrund hat sich MLPerf, eine Reihe von Benchmarks, die vom MLCommons-Konsortium entwickelt wurden, als Standard für die Bewertung der Leistung und Energieeffizienz von KI-Systemen etabliert.

Mit 56.000 Ergebnissen seit seiner Einführung hat sich MLPerf als Schlüssel-Benchmark für die Leistungsmessung von Modellen des maschinellen Lernens etabliert. Unter der Schirmherrschaft von MLCommons entwickelt diese Benchmark-Reihe die künstliche Intelligenz in einem normativen Rahmen weiter.

Die Teilnahme ist allerdings freiwillig und nicht alle Storage-Anbieter nehmen an den Benchmarks teil.

Das MLCommons-Konsortium hat es sich zur Aufgabe gemacht, Innovationen im Bereich der künstlichen Intelligenz zu beschleunigen und ihre positiven Auswirkungen auf die Gesellschaft zu verstärken. In Zusammenarbeit mit über 125 Gründungsmitgliedern und angeschlossenen Organisationen, darunter Start-ups, führende Unternehmen, Wissenschaftler und gemeinnützige Organisationen aus der ganzen Welt, demokratisiert MLCommons das maschinelle Lernen durch offene, branchenübliche Benchmarks, die Qualität und Leistung messen und offene, umfangreiche und vielfältige Datensätze zur Verbesserung von KI-Modellen erstellen.

Jeder große technologische Fortschritt folgt einer ähnlichen Entwicklung hin zu allgemeiner Akzeptanz und Wirkung. Der Weg von der Forschung bis zur breiten Verfügbarkeit dauert in der Regel 30-40 Jahre: von den ersten Automobilen bis zum Familienauto, von der Entwicklung des ARPANET bis zum World Wide Web, von den ersten Mobiltelefonen bis zum Smartphone in jeder Tasche. Jedes dieser Beispiele begann mit technologischen Durchbrüchen, war aber jahrzehntelang durch Fachwissen, Zugang und Kosten begrenzt.

Bei maschinellem Lernen und künstlicher Intelligenz ist das nicht anders. Maschinelles Lernen und künstliche Intelligenz werden seit Jahrzehnten entwickelt, aber selbst mit den heutigen rasanten Fortschritten ist die Technologie immer noch fragmentiert, maßgeschneidert und unzureichend verstanden. Diese vorrangigen Themenbereiche sollen dazu beitragen, die KI zu demokratisieren und ihre umfassende Integration in neue Produkte und Dienstleistungen in Bereichen wie Gesundheit, Sicherheit und Kommunikation zu ermöglichen, die allen zugute kommen.

Der MLPerf-Storage-Benchmark kombiniert drei Arbeitslasten und zwei GPU-Typen, um die Fähigkeit von Speichersystemen, GPUs mit maschinellem Lernen zu beschäftigen, auf sechs Arten zu bewerten.

MLPerf zielt darauf ab, sowohl Software- als auch Hardware-Innovationen zu fördern, indem es den Einreichern erlaubt, die Referenzimplementierungen neu zu implementieren. Es gibt zwei Abteilungen, die einen unterschiedlichen Grad an Flexibilität bei der Neuimplementierung erlauben:

Der geschlossene Bereich soll Vergleiche zwischen Speichersystemen auf „Apfel-zu-Apfel“-Basis ermöglichen und erfordert die Verwendung eines festen Satzes von Benchmark-Einstellungen und -Optionen bei der Durchführung des Benchmarks.

Der offene Bereich soll Innovationen fördern und zeigen, wie die Leistung durch einige Änderungen verbessert werden kann. Daher ist es möglich, verschiedene Datenspeicherformate, Zugriffsmethoden, Tunables und Optionen zu verwenden.

Die Regeln beschreiben genau, was in den einzelnen Bereichen verändert werden kann.

Verfügbarkeit

MLPerf unterteilt die Benchmark-Ergebnisse in Kategorien, die von der Verfügbarkeit der Speicherlösung abhängen:

Vor Ort verfügbar – zeigt Ergebnisse für Systeme, die im Rechenzentrum des Kunden verfügbar sind.

Verfügbar über das ALCF Discretionary Allocation Program – zeigt Ergebnisse für Systeme, die über das Argonne National Laboratory Discretionary Allocation Program verfügbar sind.

Forschung, Entwicklung oder intern (FEI) – enthält experimentelle, in Entwicklung befindliche oder intern verwendete Hardware oder Software.

In 2024, the AI industry is experiencing rapid growth, driven by the massive adoption of generative models and ever-increasing computational demands. Against this backdrop, MLPerf, a set of benchmarks developed by the MLCommons consortium, has established itself as the standard for evaluating the performance and energy efficiency of AI systems.

With 56,000 results since its launch, MLPerf has established itself as a key benchmark for measuring the performance of machine learning models. Under the auspices of MLCommons, this benchmark series advances artificial intelligence within a normative framework.

However, participation is voluntary. Not all storage vendors participate in the benchmarks.

The MLCommons consortium is dedicated to accelerating innovation in artificial intelligence and amplifying its positive impact on society. Working with more than 125 founding members and affiliates, including start-ups, leading companies, academics and non-profits from around the world, MLCommons is democratising machine learning through open, industry-standard benchmarks that measure quality and performance, and create open, rich and diverse datasets to improve AI models.

Every major technological advance follows a similar path to widespread adoption and impact. The journey from research to widespread availability typically takes 30-40 years: from the first automobiles to the family car, from the development of the ARPANET to the World Wide Web, from the first mobile phones to the smartphone in every pocket. Each of these examples began with technological breakthroughs, but were limited for decades by expertise, access and cost.

Machine learning and artificial intelligence are no different. Machine learning and artificial intelligence have been in development for decades, but even with today’s rapid advances, the technology remains fragmented, bespoke and poorly understood. These priority areas are designed to help democratise AI and enable its full integration into new products and services in areas such as health, security and communications that benefit everyone.

The MLPerf storage benchmark combines three workloads and two GPU types to evaluate the ability of storage systems to integrate GPUs with machine learning in six ways.

MLPerf aims to encourage both software and hardware innovation by allowing submitters to re-implement the reference implementations. There are two sections that allow varying degrees of flexibility in re-implementation:

The closed section is intended to allow comparisons between memory systems on an ‚apples to apples‘ basis and requires the use of a fixed set of benchmark settings and options when running the benchmark.

The open section is designed to encourage innovation and show how performance can be improved by making a few changes. It is therefore possible to use different data storage formats, access methods, tunables and options.

The rules describe exactly what can be changed in each area.

Availability

MLPerf divides the benchmark results into categories according to the availability of the storage solution:

Available on site – shows results for systems that are available in the customer’s data centre.

Available through ALCF Discretionary Allocation Programme – shows results for systems available through the Argonne National Laboratory Discretionary Allocation Programme.

Research, Development or Internal (RDI) – includes experimental hardware or software under development or in internal use.

Der neue Senior Director Partner Sales bei NetApp, Henning Rahe, erklärt im SSCG-Podcast mit Carolina Heyder, wie das Mittelstandsgeschäft gemeinsam mit Partnern gestärkt werden soll. NetApp’s new Senior Director Partner Sales, Henning Rahe, explains in the SSCG Podcast with Carolina Heyder how the company plans to strengthen its midmarket business with partners.

Von Jakob Jung

Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM. Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM. Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

WordPress Cookie Hinweis von Real Cookie Banner