Infinidat RAG

Mit der RAG-Architektur von Infinidat können Kunden die Enterprise-Speichersysteme InfiniBox und InfiniBox SSA als Basis nutzen, um den Output von KI-Modellen zu optimieren, ohne spezielle Hardware anschaffen zu müssen. Mit der InfuzeOS Cloud Edition bietet Infinidat zudem die Flexibilität, RAG in einer hybriden Multi-Cloud-Umgebung zu nutzen. Damit wird die Speicherinfrastruktur zu einem strategischen Asset, um den geschäftlichen Mehrwert von GenAI-Anwendungen im Unternehmen zu nutzen.

„Infinidat wird eine entscheidende Rolle bei RAG-Implementierungen spielen, weil InfiniBox-Speicherlösungen perfekt für Retrieval-basierte KI-Workloads geeignet sind“, erklärt Eric Herzog, CMO bei Infinidat. „Vektordatenbanken, die für die Gewinnung von Informationen zur Steigerung der Genauigkeit von GenAI-Modellen von zentraler Bedeutung sind, laufen in der Speicherumgebung von Infinidat sehr gut. Unsere Kunden können RAG auf ihrer bestehenden Speicherinfrastruktur einsetzen und dabei die hohe Leistung, die branchenweit führende niedrige Latenz und die einzigartige Neural Cache-Technologie des InfiniBox-Systems nutzen, um schnelle und hochpräzise Antworten für GenAI-Workloads zu erhalten.“

RAG erweitert KI-Modelle mit relevanten eigenen Daten, die aus den Vektordatenbanken eines Unternehmens abgerufen werden. Vektordatenbanken werden von einer Reihe von Anbietern wie Oracle, PostgreSQL, MongoDB und DataStax Enterprise angeboten und werden während des KI-Inferenzprozesses verwendet, der auf das KI-Training folgt. Als Teil eines GenAI-Frameworks erlaubt RAG Unternehmen, automatisch genauere, fundiertere und zuverlässigere Antworten auf Benutzeranfragen zu generieren. Es ermöglicht einem KI-Lernmodell, wie einem Large Language Learning Model (LLM) oder einem Small Language Learning Model (SLM), Informationen und Wissen zu referenzieren, das über die Daten hinausgeht, auf denen es trainiert wurde. Damit werden nicht nur allgemeine Modelle mit den aktuellsten Informationen eines Unternehmens angepasst, sondern es entfällt auch die Notwendigkeit, KI-Modelle ständig ressourcenintensiv neu zu trainieren.

„Infinidat positioniert sich richtigerweise als Wegbereiter von RAG Inferencing im GenAI-Bereich“, kommentiert Marc Staimer, Präsident von Dragon Slayer Consulting. „Retrieval-augmented Generation ist ein vielversprechender Bereich für einen Anbieter von Speicherlösungen für Unternehmen, der ein hohes Maß an Leistung, 100 % garantierter Verfügbarkeit, Skalierbarkeit und Cyber-Resilienz bietet, die sich ohne weiteres auf LLM RAG Inferencing anwenden lassen. Da RAG-Inferencing Teil fast jedes KI-Projekts in Unternehmen ist, besteht für Infinidat die Möglichkeit, seine Rolle auf den Unternehmensmarkt mit seiner hochgradig zielgerichteten RAG-Referenzarchitektur zu erweitern.“

„Infinidat bringt Unternehmensspeicher und GenAI auf eine sehr wichtige Weise zusammen, indem es eine RAG-Architektur bereitstellt, die die Genauigkeit von KI verbessern wird. Es ist besonders sinnvoll diese Retrieval-Augmented Generation für KI dort anzuwenden, wo die Daten in Unternehmen tatsächlich gespeichert sind. Dies ist ein großartiges Beispiel dafür, wie Infinidat Storage in eine aufregende KI-Zukunft führt“, erläutert Stan Wysocki, Präsident von Mark III Systems.

Feinabstimmung von KI in der Speicherinfrastruktur von Unternehmen

Ungenaue oder irreführende Ergebnisse eines GenAI-Modells, die als „KI-Halluzinationen“ bezeichnet werden, sind ein häufiges Problem, das die Einführung und den breiten Einsatz von KI in Unternehmen behindert hat. Eine KI-Halluzination kann ungenaue Informationen als „Fakten“ darstellen, nicht vorhandene Daten zitieren oder falsche Zuordnungen vornehmen. All das schränkt die KI ein und offenbart eine Lücke, die eine kontinuierliche Verfeinerung der Datenabfragen erfordert. Ein Fokus auf KI-Modelle ohne eine RAG-Strategie neigt dazu, sich auf eine große Menge öffentlich verfügbarer Daten zu stützen, während die unternehmenseigenen Datenbestände nicht ausreichend genutzt werden.

Infinidat stellt seine Architektur für Unternehmen zur Verfügung, um diese große Herausforderung bei GenAI zu bewältigen und eine RAG-Pipeline kontinuierlich mit neuen Daten zu verfeinern und so das Risiko von KI-Halluzinationen zu verringern. Durch die Verbesserung der Genauigkeit von modellbasierten KI-Erkenntnissen trägt Infinidat dazu bei, dass GenAI die erhofften Ergebnisse für Unternehmen liefern kann. Die Lösung von Infinidat kann eine beliebige Anzahl von InfiniBox-Plattformen umfassen und erlaubt die Erweiterbarkeit auf Speicherlösungen von Drittanbietern über dateibasierte Protokolle wie NFS.

Um den Rollout von RAG für Unternehmen zu vereinfachen und zu beschleunigen, integriert Infinidat außerdem die Lösungen unterschiedlicher Cloud-Anbieter und stellt seine InfuzeOS Cloud Edition für AWS und Azure bereit, um RAG in einer Hybrid-Cloud-Konfiguration zu betreiben. Damit ergänzt Infinidat die Leistungen der Hyperscaler, die das anfängliche Training der KI-Modelle im großen Maßstab durchführen. Die Kombination von KI-Modellen und RAG ist eine Schlüsselkomponente für die Zukunft der generativen KI.

With Infinidat’s RAG architecture, customers can use the InfiniBox and InfiniBox SSA enterprise storage systems as a base to optimize the output of AI models without having to purchase special hardware. With the InfuzeOS Cloud Edition, Infinidat also offers the flexibility to use RAG in a hybrid multi-cloud environment. This makes the storage infrastructure a strategic asset to leverage the business value of GenAI applications in the enterprise.

“Infinidat will play a critical role in RAG deployments because InfiniBox storage solutions are perfectly suited for retrieval-based AI workloads,” explains Eric Herzog, CMO at Infinidat. “Vector databases, which are central to mining information to increase the accuracy of GenAI models, run very well in Infinidat’s storage environment. Our customers can deploy RAG on their existing storage infrastructure, leveraging the high performance, industry-leading low latency and unique Neural Cache technology of the InfiniBox system to get fast and highly accurate answers for GenAI workloads.”

RAG augments AI models with relevant proprietary data retrieved from an organization’s vector databases. Vector databases are offered by a number of vendors such as Oracle, PostgreSQL, MongoDB and DataStax Enterprise and are used during the AI inference process that follows AI training. As part of a GenAI framework, RAG allows organizations to automatically generate more accurate, informed and reliable responses to user queries. It enables an AI learning model, such as a Large Language Learning Model (LLM) or a Small Language Learning Model (SLM), to reference information and knowledge beyond the data on which it was trained. This not only adapts general models with a company’s most up-to-date information, but also eliminates the need to constantly retrain AI models in a resource-intensive manner.

“Infinidat is rightly positioning itself as a pioneer of RAG inferencing in the GenAI space,” comments Marc Staimer, President of Dragon Slayer Consulting. “Retrieval-augmented generation is a promising area for an enterprise storage solution provider that offers high levels of performance, 100% guaranteed availability, scalability and cyber resiliency that can be readily applied to LLM RAG inferencing. As RAG inferencing is part of almost every enterprise AI project, there is an opportunity for Infinidat to expand its role into the enterprise market with its highly targeted RAG reference architecture.”

“Infinidat brings enterprise storage and GenAI together in a very important way by providing a RAG architecture that will improve the accuracy of AI. It makes particular sense to apply this retrieval augmented generation for AI where the data is actually stored in organizations. This is a great example of how Infinidat Storage is leading the way to an exciting AI future,” explains Stan Wysocki, President of Mark III Systems.

Fine-tuning AI in the enterprise storage infrastructure

Inaccurate or misleading results from a GenAI model, known as “AI hallucinations,” are a common problem that has hindered the adoption and widespread use of AI in organizations. An AI hallucination may present inaccurate information as “facts”, cite non-existent data or make incorrect attributions. All of this limits AI and reveals a gap that requires continuous refinement of data queries. A focus on AI models without a RAG strategy tends to rely on a large amount of publicly available data while underutilizing the company’s own data assets.

Infinidat provides its architecture for organizations to address this major GenAI challenge and continuously refine a RAG pipeline with new data to reduce the risk of AI hallucinations. By improving the accuracy of model-based AI insights, Infinidat is helping to ensure that GenAI can deliver the results organizations are hoping for. Infinidat’s solution can span any number of InfiniBox platforms and allows extensibility to third-party storage solutions via file-based protocols such as NFS.

To simplify and accelerate the rollout of RAG for organizations, Infinidat also integrates the solutions of different cloud providers and provides its InfuzeOS Cloud Edition for AWS and Azure to run RAG in a hybrid cloud configuration. Infinidat thus complements the services of hyperscalers that perform the initial training of AI models on a large scale. The combination of AI models and RAG is a key component for the future of generative AI.