| Oracle HeatWave GenAI ist ein neuer Cloud-Datenbankservice. Er umfasst die branchenweit ersten datenbankinternen Large Language Modelle (LLMs), einen automatisierten datenbankinternen Vektorspeicher, Scale-out-Vektorverarbeitung und die Möglichkeit zum Führen kontextbezogener Gespräche in natürlicher Sprache auf der Grundlage unstrukturierter Inhalte. Mit HeatWave GenAI können Unternehmen problemlos große Mengen proprietärer, unstrukturierter Dokumente im Objektspeicher verarbeiten und analysieren. Sie können schlüsselfertige KI-basierte Anwendungen mit verbesserter Leistung und Datensicherheit auf Unternehmensebene entwickeln. HeatWave GenAI integriert nahtlos LLMs, Embedding-Generierung, Vektorspeicher und mehrsprachige Chat-Fähigkeiten in die Datenbank und bietet so eine integrierte, automatisierte und kosteneffiziente generative KI-Pipeline für Unternehmen, um die Leistungsfähigkeit von LLMs und semantischer Suche mit ihren eigenen Daten zu nutzen. Mit diesen neuen Funktionen können Kunden die Effizienzpotentiale generativer Künstlicher Intelligenz (KI) in ihre Unternehmensdaten integrieren – ohne dass KI-Expertise erforderlich ist oder Daten in eine separate Vektordatenbank verschoben werden müssen. HeatWave GenAI ist ab sofort in allen Oracle Cloud-Regionen, Oracle Cloud Infrastructure (OCI) Dedicated Region und Cloud-übergreifend ohne zusätzliche Kosten für HeatWave-Kunden verfügbar. Wie ein Benchmark eines Drittanbieters mithilfe einer Reihe ähnlicher Suchabfragen für Tabellen mit einer Größe von 1,6 GB bis 300 GB zeigt, ist HeatWave GenAI 30-mal schneller als Snowflake und kostet 25 Prozent weniger, 15-mal schneller als Databricks und kostet 85 Prozent weniger sowie 18-mal schneller als Google BigQuery und kostet 60 Prozent weniger. Im Vergleich zu Amazon Bedrock ist HeatWave GenAI bis zu 23 Mal schneller und kostet nur ein Viertel der Erstellung und Speicherung von 100.000 eingebetteten Dateien. Mit HeatWave GenAI können Entwickler mit Hilfe integrierter Embeddings einen Vektorspeicher für unstrukturierte Unternehmensdaten mit einem einzigen SQL-Befehl erstellen. Darüber hinaus können Benutzer mithilfe von LLMs in der Datenbank oder externen LLMs in einem einzigen Schritt Suchvorgänge in natürlicher Sprache durchführen. Die Daten verlassen die Datenbank nicht und aufgrund der hervorragenden Skalierbarkeit und Performance von HeatWave besteht keine Notwendigkeit, GPUs bereitzustellen. Dies ermöglicht Entwicklern, die Komplexität von Anwendungen zu reduzieren, die Leistung zu steigern, die Datensicherheit zu verbessern und Kosten zu senken. „Das hohe Innovationstempo von HeatWave setzt sich mit der Ergänzung der bestehenden integrierten HeatWave-Funktionen um HeatWave GenAI fort: HeatWave Lakehouse, HeatWave Autopilot, HeatWave AutoML und HeatWave MySQL“, sagte Edward Screven, Chief Corporate Architect bei Oracle. „Die heutigen integrierten und automatisierten KI-Erweiterungen ermöglichen es Entwicklern, schneller umfangreiche generative KI-Anwendungen zu erstellen, ohne dass KI-Expertise erforderlich ist oder Daten verschoben werden müssen. Benutzer können jetzt intuitiv mit ihren Unternehmensdaten interagieren und schnell die genauen Antworten erhalten, die sie für ihr Unternehmen benötigen.“ Zu den neuen automatisierten und integrierten generativen KI-Funktionen gehören: - Datenbankinterne LLMs vereinfachen die Entwicklung generativer KI-Anwendungen zu geringeren Kosten. Kunden können von generativer KI profitieren, ohne sich um die Komplexität der externen LLM-Auswahl und -Integration kümmern zu müssen und ohne sich Gedanken über die Verfügbarkeit von LLMs in den Data Centern verschiedener Cloud-Provider zu machen. Die in die Datenbank integrierten LLMs ermöglichen es den Kunden, Daten zu durchsuchen, Inhalte zu generieren oder zusammenzufassen und RAG (Retrieval-Augmented Generation) mit HeatWave Vector Store durchzuführen. Des Weiteren können sie generative KI mit anderen integrierten HeatWave-Funktionen wie AutoML kombinieren, um umfangreichere Anwendungen zu erstellen. HeatWave GenAI ist außerdem in den OCI Generative AI-Serviceintegriert, um auf vorab trainierte, Basismodelle führender LLM-Provider zuzugreifen.
- Mit dem automatisierten, datenbankinternen Vektorspeicher können Kunden generative KI mit ihren Geschäftsdokumenten nutzen, ohne Daten in eine separate Vektordatenbank zu verschieben und ohne KI Expertise. Alle Schritte zum Erstellen eines Vektorspeichers und von Vektoreinbettungen werden automatisiert und innerhalb der Datenbank ausgeführt. Das Erkennen von Dokumenten im Objektspeicher, das Parsen, das Generieren von Einbettungen in hochparalleler und optimierter Weise und das Einfügen in den Vektorspeicher machen HeatWave Vector Store effizient und benutzerfreundlich. Die Verwendung eines Vektorspeichers für RAG hilft, das Problem der Halluzinationen in LLMs zu lösen, da die Modelle proprietäre Daten mit dem entsprechenden Kontext durchsuchen können, um genauere und relevantere Antworten zu liefern.
- Die Scale-Out-Vektorverarbeitung ermöglicht es, semantische Suchergebnisse sehr schnell und ohne Einbußen bei der Genauigkeit zu erzielen. HeatWave unterstützt einen neuen, nativen VECTOR-Datentyp und eine optimierte Implementierung der Distanzfunktion, sodass Kunden semantische Abfragen mit Standard-SQL durchführen können. Die hybride In-Memory-Darstellung von Spalten und die Scale-out-Architektur von HeatWave ermöglichen die Ausführung von Vektorverarbeitung mit Near-Memory-Bandbreite und Parallelisierung über bis zu 512 HeatWave-Knoten. Dadurch erhalten Anwender schnell Antworten auf ihre Fragen. Die Benutzer können die semantische Suche auch mit anderen SQL-Operatoren kombinieren, um z. B. mehrere Tabellen mit unterschiedlichen Dokumenten zu verknüpfen und eine Ähnlichkeitssuche über alle Dokumente durchzuführen.
- HeatWave Chat ist ein Visual Code-Plug-in für MySQL Shell, das eine grafische Benutzeroberfläche für HeatWave GenAI bereitstellt und Entwicklern ermöglicht, Fragen in natürlicher Sprache oder SQL zu stellen. Der integrierte Lakehouse Navigator ermöglicht Benutzern, Dateien aus dem Objektspeicher auszuwählen und einen Vektorspeicher zu erstellen. Außerdem können Benutzer in der gesamten Datenbank suchen oder die Suche auf einen Ordner beschränken. HeatWave pflegt den Kontext mit dem Verlauf der gestellten Fragen, den Zitaten der Quelldokumente und der Aufforderung zum LLM. Dies erleichtert eine kontextbezogene Konversation und ermöglicht Benutzern, die Quelle der vom LLM generierten Antworten zu überprüfen. Darüber hinaus wird dieser Kontext in HeatWave verwaltet und steht jeder Anwendung zur Verfügung, die HeatWave verwendet.
Benchmarks für die Erstellung von Vektorspeichern und die Vektorverarbeitung Die Erstellung eines Vektorspeichers für Dokumente im PDF-, PPT-, WORD- und HTML-Format ist mit HeatWave GenAI bis zu 23-mal schneller und kostet nur 1/4 einer Knowledge Base für Amazon Bedrock. Ein separater Benchmark zeigt, dass Vektorindizes in Amazon Aurora PostgreSQL mit pgvector einen hohen Grad an Ungenauigkeit aufweisen und falsche Ergebnisse liefern können. Im Gegensatz dazu liefert die Ähnlichkeitssuche von HeatWave immer genauere Ergebnisse und hat eine vorhersagbare Antwortzeit. HeatWave läuft mit annähernder Speichergeschwindigkeit und ist 10- bis 80-mal schneller als Aurora, das die gleiche Anzahl von Kernen verwendet. Kommentare „Wir freuen uns, unsere enge Zusammenarbeit mit Oracle fortzusetzen, um mit HeatWave GenAI die Performance und Produktivität von KI für kritische Unternehmens-Workloads und Datensätze bereitzustellen“, sagte Dan McNamara, Senior Vice President und General Manager der Server Business Unit von AMD. „Die gemeinsame Entwicklungsarbeit von AMD und Oracle ermöglicht Entwicklern, innovative KI-Lösungen für Unternehmen zu entwerfen, indem sie HeatWave GenAI nutzen, das durch die Kerndichte und das hervorragende Preis-Leistungs-Verhältnis der AMD EPYC-Prozessoren angetrieben wird.“ Führende Branchenanalysten haben sich wie folgt über HeatWave GenAI geäußert: „Unternehmen stehen zunehmend unter Druck, Wege zu finden, um KI als Wettbewerbsvorteil zu nutzen, aber die Frage ist, wie. Datenbanken sollten als Schlüsselkomponente, wenn nicht sogar als Kern jeder KI-Initiative in Unternehmen betrachtet werden, auch wenn es sich um unstrukturierte Daten handelt. Oracle hat darauf mit dem Aufbau einer integrierten GenAI/Datenbank-Fähigkeit reagiert. Mit den datenbankinternen LLMs und dem datenbankinternen Vektorspeicher von HeatWave GenAI bietet Oracle eine umfassende All-in-One-Lösung. Dies vermeidet nicht nur die Verwaltungs- und Synchronisationsprobleme, die bei spezialisierten Vektordatenbanken auftreten, sondern eröffnet auch neue Möglichkeiten für Entwickler und Anwender. Kunden können von der Kombination von HeatWave AutoML und HeatWave GenAI profitieren, um die Genauigkeit und Leistung zu verbessern und gleichzeitig die Kosten zu senken, indem der Kontext und die LLM-Berechnungszeit reduziert werden. HeatWave GenAI wurde entwickelt, um Entwicklern und Anwendern die Möglichkeit zu geben, einen Vektorspeicher zu erstellen und einen Vektorspeicher mit LLMs in einem einfachen, geradlinigen Prozess zu verwenden, ohne dass KI-Kenntnisse erforderlich sind. Insgesamt bietet HeatWave GenAI eine Reihe von leistungsstarken KI-Innovationen, die Unternehmen mit großen unstrukturierten Datenbeständen näher in Betracht ziehen sollten.“ -Carl Olofson Forschungs-Vizepräsident, Datenmanagement-Software, IDC „In einer Welt, in der KI immer komplexer wird, ist es erfrischend, eine KI-Lösung auf Unternehmensebene zu sehen, die Unternehmen dabei hilft, echte GenAI-Implementierungen zu beschleunigen, anstatt Zyklen damit zu verbringen, sich durch einen Ozean von Optionen zu wühlen und wertvolle Zeit damit zu verschwenden, alles zu integrieren – in der Hoffnung, dass es schließlich funktioniert. Mit datenbankinternen LLMs, die sofort einsatzbereit sind, und einem vollautomatischen Vektorspeicher, der vom ersten Tag an für die Vektorverarbeitung bereit ist, hebt HeatWave GenAI die KI-Vereinfachung – und die Preisleistung – auf ein Niveau, an das Konkurrenten wie Snowflake, Google BigQuery und Databricks nicht einmal annähernd heranreichen.“ -Steve McDowell Chefanalyst, NAND Research „Es gibt Vektorverarbeitung und es gibt gut gemachte Vektorverarbeitung. Oracle hat HeatWave GenAI auf die Welt losgelassen und eine unerbittliche Vektorverarbeitungsleistung geliefert, die 30-mal schneller als Snowflake, 18-mal schneller als Google BigQuery und 15-mal schneller als Databricks ist – bei bis zu 6-mal geringeren Kosten. Es ist klar, dass HeatWave GenAI die Konkurrenz nicht nur aufheizt, sondern zum Schmelzen bringt. Für jedes Unternehmen, das sich ernsthaft mit hochleistungsfähigen generativen KI-Workloads beschäftigt, ist die Ausgabe von Unternehmensressourcen für eines der drei anderen Vektordatenbank-Angebote gleichbedeutend mit Geldverschwendung und dem Versuch, dies als gute Idee zu rechtfertigen“. -Ron Westfall Forschungsleiter, The Futurum Group „Der automatisierte datenbankinterne Vektorspeicher und die datenbankinternen LLMs von HeatWave GenAI vereinfachen die Art und Weise, wie Entwickler KI-Anwendungen erstellen und Benutzer mit Daten interagieren, erheblich. Im Gegensatz zu vielen anderen Anbietern, die mehrere Schritte für die Erstellung von Vektorspeichern und die Verwendung von Vektorspeichern mit LLMs erfordern, benötigt HeatWave GenAI nur eine SQL-Anweisung für jede Aufgabe und von da an ist alles automatisiert. Für den Benutzer ist es genauso einfach. Sie können HeatWave Chat für kontextbezogene Konversationen mit ihren Daten in natürlicher Sprache verwenden. Abgesehen von der Vereinfachung bedeuten diese datenbankinternen Fähigkeiten, dass die Kunden Leistungsvorteile ohne GPUs erzielen und keine separate Vektordatenbank verwalten, Daten verschieben und synchronisieren oder die damit verbundenen Kosten tragen müssen“. -Richard Winter Geschäftsführer, WinterCorp „HeatWave macht einen großen Schritt, um generative KI und RAG (Retrieval-Augmented Generation) zugänglicher zu machen, indem es die gesamte Komplexität der Erstellung von Vektoreinbettungen unter die Haube bringt. Entwickler verweisen einfach auf die Quelldateien, die sich im Cloud-Objektspeicher befinden, und HeatWave erledigt den Rest. Kunden können das Einbettungsmodell von Oracle verwenden oder ihr eigenes mitbringen. Dann können sie datenbankinternes AutoML verwenden, um das Sprachmodell zu erden und Halluzinationen zu reduzieren, ohne auf separate Datenbanken zugreifen oder die Daten an andere Stellen senden zu müssen. Das sind wichtige Schritte zur Demokratisierung der KI. -Tony Baer Gründer und CEO, dbInsight „Die technischen Innovationen von HeatWave erfüllen weiterhin die Vision einer universellen Cloud-Datenbank. Die neueste Innovation ist die generative KI im HeatWave-Stil, die die Integration eines automatisierten datenbankinternen Vektorspeichers und datenbankinterner LLMs direkt in den HeatWave-Kern umfasst. Dies ermöglicht es Entwicklern, neue Klassen von Anwendungen durch die Kombination von HeatWave-Elementen zu erstellen. Beispielsweise können sie HeatWave AutoML und HeatWave GenAI in einer Betrugserkennungsanwendung kombinieren, die nicht nur verdächtige Transaktionen erkennt, sondern auch eine verständliche Erklärung liefert. All dies geschieht in der Datenbank, so dass die Daten nicht in externe Vektordatenbanken ausgelagert werden müssen, was die Datensicherheit erhöht. Das macht HeatWave GenAI auch hochperformant zu einem Bruchteil der Kosten, wie Benchmarks der Konkurrenz zeigen.“ -Holger Müller VP und Senior Analyst, Constellation Research „Mit der Einführung von HeatWave GenAI hat Oracle die Welt der Vektorverarbeitung aus einer wirtschaftlichen Perspektive betrachtet und mit Benchmarks von Drittanbietern gezeigt, dass HeatWave bei den getesteten Workloads besser abschneidet als die Konkurrenz. Dies ist für Manager, die für die monatlichen GenAI-Cloud-Rechnungen verantwortlich sind, relevant, denn je effizienter sie Vektorverarbeitungs-Workloads ausführen können, desto weniger geben sie aus. Wir sind fasziniert von den branchenweit ersten datenbankinternen LLMs und der automatischen Vektoreinbettung. Zusammen mit der HeatWave Lakehouse-Lösung, die sowohl Unternehmen unterstützt, die gerade erst in die KI einsteigen, als auch Unternehmen, die bereit für große Implementierungen sind, kann man sehen, dass der Heatwave-Zug weiter rollt“. -Dave Vellante Co-CEO und Chefanalyst, theCUBE Research „Datenbankanbieter sind auf den Trend zu GenAI, LLM und Vektorsuche aufgesprungen, indem sie ihre bestehenden Datenbanken um Vektorfunktionen erweitert haben. Kunden stellen fest, dass die meisten dieser Implementierungen zu langsam, zu teuer oder beides sind. Oracle ist dabei, das zu ändern. Basierend auf einem neuen unabhängigen Benchmark sind Snowflake, Databricks und Google BigQuery in allen Aspekten der Vektorverarbeitung – Einbetten, Laden und Abfragen – um ein Vielfaches langsamer als HeatWave GenAI. Tatsächlich zeigen die Benchmark-Ergebnisse, dass HeatWave GenAI 15- bis 30-mal schneller und bis zu 6-mal billiger ist. Das ist, als bekäme man die Leistung eines Rimac Nevera zum Preis eines Kia EV6. Das ist ein unglaubliches Wertversprechen von HeatWave GenAI. Für Unternehmen, die hochpräzise und blitzschnelle Ähnlichkeitssuchen auf unstrukturierten Daten in Objektspeichern zu einem erschwinglichen Preis durchführen wollen, hat HeatWave heute die Antwort.“ -Marc Staimer Leitender Analyst, theCUBEresearch „Mit der neuesten Version von HeatWave GenAI hat Oracle erneut die Grenzen der Datenbanktechnologie verschoben und eine 30-fach höhere Leistung als die Konkurrenz bei deutlich niedrigeren Kosten gezeigt. Noch wichtiger ist jedoch, dass die Kunden nun über eine vollständig integrierte GenAI-Plattform verfügen, die alles unter einer Haube vereint, von Vektorspeichern und datenbankinternen LLMs bis hin zu maschinellem Lernen und natürlichsprachlichen Fähigkeiten. Dieser Ansatz eliminiert unnötige Datenbewegungen und Fragmentierung, reduziert die Angriffsfläche und trägt zu einer drastischen Verbesserung der Compliance bei. HeatWave GenAI ist ein Beispiel für elegantes und synergetisches Design und zeigt, dass eine solche Kombination von Leistung, Effizienz und Sicherheit nicht durch die wahllose Kombination einzelner Cloud-Dienste erreicht werden kann“. -Alexei Balaganski Senior Analyst und CTO, KuppingerCole Analysts „Generative KI ist ein großes Versprechen für Unternehmen jeder Art und Größe. Dieses große Versprechen geht mit großen Herausforderungen einher, da IT-Organisationen in Bezug auf Budget, Technologie und KI-Fachwissen vor großen Herausforderungen stehen. Aus diesem Grund sehen sich viele Unternehmen gezwungen, generative KI-Projekte auf Eis zu legen, wodurch sie Gefahr laufen, gegenüber der Konkurrenz ins Hintertreffen zu geraten. Mit HeatWave GenAI können IT-Organisationen durch datenbankinterne Large Language Models (LLMs) und Vektorspeicher einfach vom Konzept zur Produktion übergehen. Dadurch können IT- und Anwendungsentwickler GenAI schnell in ihre wertvollste Ressource integrieren – ihre Daten. Diese Fähigkeiten in Kombination mit HeatWave Chat ermöglichen es Nutzern und Kunden, Abfragen und Suchen in natürlichen Gesprächen durchzuführen.“ -Matt Kimball Vizepräsident und Senior Analyst, Moor Insights & Strategy „Was erhält man, wenn man datenbankinterne LLMs und einen automatisierten Vektorspeicher mit einer für Daten im Objektspeicher optimierten Scale-out-Datenverarbeitungs-Engine kombiniert? Das Ergebnis ist Oracles kürzlich veröffentlichte HeatWave GenAI. In typischer Oracle-Manier zielt diese Version darauf ab, die Hauptkonkurrenten des Unternehmens wie Snowflake zu übertreffen. In Bezug auf die Beschleunigung der Vektorverarbeitung behauptet Oracle einen ziemlich signifikanten Faktor von 30X gegenüber seinen Konkurrenten. „Mit oder ohne solche Leistungsangaben, die Quintessenz ist, dass HeatWave GenAI einige ernsthafte Leistungsvorteile bietet, indem es die Ähnlichkeitssuche im Speicher verarbeitet. Dies geht weit über das hinaus, was wir bei frühen Vektordatenbanken gesehen haben und was Kunden von vielen Vektor-„Plug-ins“ für traditionelle Datenbanken erhalten. Wichtig ist, dass HeatWave GenAI diese Leistungsmentalität sowohl bei der Entwicklung als auch bei der Ausführung umsetzt, indem es das Datenbank-Setup rationalisiert und sogar komplexe Aufgaben wie die Modellauswahl und das Parsen/Chunking von Inhalten automatisiert. Diese Schritte werden die Erstellung von leistungsfähigen GenAI-Anwendungen beschleunigen, einschließlich Anwendungen wie Inhaltszusammenfassung, Retrieval-Augmented Generation und natürlichsprachliche Konversation mit Daten.“ -Bradley Shimmin Leitender Analyst, KI & Datenanalyse, Omdia | | Oracle HeatWave GenAI is now generally available. It includes the industry’s first in-database large language models (LLMs), an automated in-database vector store, scale-out vector processing, and the ability to have contextual conversations in natural language informed by unstructured content. These new capabilities enable customers to bring the power of generative AI to their enterprise data—without requiring AI expertise or having to move data to a separate vector database. HeatWave GenAI is available immediately in all Oracle Cloud regions, Oracle Cloud Infrastructure (OCI) Dedicated Region, and across clouds at no extra cost to HeatWave customers. With HeatWave GenAI, organizations can easily process and analyze large volumes of proprietary unstructured documents in object storage. You can develop turnkey AI-powered applications with enhanced performance and enterprise-grade data security. HeatWave GenAI seamlessly integrates LLMs, embedding generation, vector storage, and multilingual chat capabilities into the database, providing an integrated, automated, and cost-effective generative AI pipeline for organizations to harness the power of LLMs and semantic search using their own data. With HeatWave GenAI, developers can create a vector store for enterprise unstructured content with a single SQL command, using built-in embedding models. Users can perform natural language searches in a single step using either in-database or external LLMs. Data doesn’t leave the database and, due to HeatWave’s extreme scale and performance, there is no need to provision GPUs. As a result, developers can reduce application complexity, increase performance, improve data security, and lower costs. “HeatWave’s stunning pace of innovation continues with the addition of HeatWave GenAI to existing built-in HeatWave capabilities: HeatWave Lakehouse, HeatWave Autopilot, HeatWave AutoML, and HeatWave MySQL,” said Edward Screven, chief corporate architect, Oracle. “Today’s integrated and automated AI enhancements allow developers to build rich generative AI applications faster, without requiring AI expertise or moving data. Users now have an intuitive way to interact with their enterprise data and rapidly get the accurate answers they need for their businesses.” “HeatWave GenAI makes it extremely easy to take advantage of generative AI,” said Vijay Sundhar, chief executive officer, SmarterD. “The support for in-database LLMs and in-database vector creation leads to a significant reduction in application complexity, predictable inference latency, and most of all, no additional cost to us to use the LLMs or create the embeddings. This is truly the democratization of generative AI and we believe it will result in building richer applications with HeatWave GenAI and significant gains in productivity for our customers.” New automated and built-in generative AI features include: · In-database LLMs simplify the development of generative AI applications at a lower cost. Customers can benefit from generative AI without the complexity of external LLM selection and integration, and without worrying about the availability of LLMs in various cloud providers’ data centers. The in-database LLMs enable customers to search data, generate or summarize content, and perform retrieval-augmented generation (RAG) with HeatWave Vector Store. In addition, they can combine generative AI with other built-in HeatWave capabilities such as AutoML to build richer applications. HeatWave GenAI is also integrated with the OCI Generative AI service to access pre-trained, foundational models from leading LLM providers. · Automated In-database Vector Store enables customers to use generative AI with their business documents without moving data to a separate vector database and without AI expertise. All the steps to create a vector store and vector embeddings are automated and executed inside the database, including discovering the documents in object storage, parsing them, generating embeddings in a highly parallel and optimized way, and inserting them into the vector store making HeatWave Vector Store efficient and easy to use. Using a vector store for RAG helps solve the hallucination challenge of LLMs as the models can search proprietary data with appropriate context to provide more accurate and relevant answers. · Scale-out vector processing delivers very fast semantic search results without any loss of accuracy. HeatWave supports a new, native VECTOR data type and an optimized implementation of the distance function, enabling customers to perform semantic queries with standard SQL. In-memory hybrid columnar representation and the scale-out architecture of HeatWave enable vector processing to execute at near-memory bandwidth and parallelize across up to 512 HeatWave nodes. As a result, customers get their questions answered rapidly. Users can also combine semantic search with other SQL operators to, for example, join several tables with different documents and perform similarity searches across all documents. · HeatWave Chat is a Visual Code plug-in for MySQL Shell which provides a graphical interface for HeatWave GenAI and enables developers to ask questions in natural language or SQL. The integrated Lakehouse Navigator enables users to select files from object storage and create a vector store. Users can search across the entire database or restrict the search to a folder. HeatWave maintains context with the history of questions asked, citations of the source documents, and the prompt to the LLM. This facilitates a contextual conversation and allows users to verify the source of answers generated by the LLM. This context is maintained in HeatWave and is available to any application using HeatWave. Vector Store Creation and Vector Processing Benchmarks Creating a vector store for documents in PDF, PPT, WORD, and HTML formats is up to 23X faster with HeatWave GenAI and 1/4th the cost of using Knowledge base for Amazon Bedrock. As demonstrated by a third-party benchmark using a variety of similarity search queries on tables ranging from 1.6GB to 300GB in size, HeatWave GenAI is 30X faster than Snowflake and costs 25 percent less, 15X faster than Databricks and costs 85 percent less, and 18X faster than Google BigQuery and costs 60 percent less. A separate benchmark reveals that vector indexes in Amazon Aurora PostgreSQL with pgvector can have a high degree of inaccuracy and can yield incorrect results. In contrast, HeatWave similarity search processing always provides accurate results, has predictable response time, is performed at near memory speed, and is up to 10X-80X faster than Aurora using the same number of cores. “We are thrilled to continue our strong collaboration with Oracle to deliver the power and productivity of AI with HeatWave GenAI for critical enterprise workloads and data sets,” said Dan McNamara, senior vice president and general manager, Server Business Unit, AMD. “The joint engineering work undertaken by AMD and Oracle is enabling developers to design innovative enterprise AI solutions by leveraging HeatWave GenAI powered by the core density and outstanding price-performance of AMD EPYC processors.” Additional Customer and Analyst Commentary on HeatWave GenAI “We heavily use the in-database HeatWave AutoML for making various recommendations to our customers,” said Safarath Shafi, chief executive officer, EatEasy. “HeatWave’s support for in-database LLMs and in-database vector store is differentiated and the ability to integrate generative AI with AutoML provides further differentiation for HeatWave in the industry, enabling us to offer new kinds of capabilities to our customers. The synergy with AutoML also improves the performance and quality of the LLM results.” “HeatWave in-database LLMs, in-database vector store, scale-out in-memory vector processing, and HeatWave Chat, are very differentiated capabilities from Oracle that democratize generative AI and make it very simple, secure, and inexpensive to use,” said Eric Aguilar, founder, Aiwifi. “Using HeatWave and AutoML for our enterprise needs has already transformed our business in several ways, and the introduction of this innovation from Oracle will likely spur growth of a new class of applications where customers are looking for ways to leverage generative AI on their enterprise content.” Leading industry analysts had the following to say about HeatWave GenAI: “Enterprises are increasingly under pressure to find ways to leverage AI as a competitive advantage, but the question is, how to do it? Databases should be seen as key components, even focal points, of any enterprise AI initiative, including that involving unstructured data. Oracle has responded by building an integrated GenAI/database capability. With HeatWave GenAI’s in-database LLMs and in-database vector store, Oracle offers a comprehensive all-in-one solution. This not only avoids the management and synchronizing issues prevalent with specialized vector databases, but also enables exciting new opportunities for developers and users alike. Customers can gain from combining HeatWave AutoML and HeatWave GenAI to improve accuracy and performance while reducing costs by narrowing the context and LLM compute time. HeatWave GenAI is designed to enable developers and users to create a vector store and use a vector store with LLMs using a simple, straightforward process with no AI expertise required. Altogether, HeatWave GenAI delivers a powerful series of AI innovations that organizations with large unstructured data stores should take a closer look at.” —Carl Olofson Research vice president, Data Management Software, IDC “In a world where AI complexity reigns supreme, it’s refreshing to see an enterprise-grade AI solution that helps organizations accelerate real-world GenAI deployments as opposed to spending cycles trying to wade through the sea of options and wasting precious time trying to integrate everything—and hoping that it will eventually work. With in-database LLMs that are ready to go and a fully automated vector store that’s ready for vector processing on day one, HeatWave GenAI takes AI simplicity—and price performance—to a level that its competitors such as Snowflake, Google BigQuery and Databricks can’t remotely begin to approach.” —Steve McDowell Chief Analyst, NAND Research “There’s vector processing and there’s vector processing done right. Oracle has unleashed HeatWave GenAI onto the world and has delivered relentless vector processing performance that is 30X faster than Snowflake, 18X faster than Google BigQuery and 15X faster than Databricks—at up to 6X lower cost. Clearly HeatWave GenAI didn’t just turn the heat up on the competition—it melted them down. For any organization serious about high performance generative AI workloads, spending company resources on any of these three other vector database offerings is the equivalent of burning money and trying to justify it as a good idea.” —Ron Westfall Research Director, The Futurum Group “HeatWave GenAI’s automated in-database vector store and in-database LLMs greatly simplify how developers build AI applications and users interact with data. In contrast to many other vendors that require multiple steps to create vector stores and to use vector stores with LLMs, HeatWave GenAI requires only one SQL statement for each task and it’s all automated from there. It’s equally simple for users. They can use HeatWave Chat for contextual conversations with their data in natural language. Beyond simplification, these in-database capabilities mean that customers gain performance benefits without GPUs and don’t need to manage a standalone vector database, to move data and keep it synchronized, or to incur associated costs.” —Richard Winter CEO, WinterCorp “HeatWave is taking a big step in making generative AI and Retrieval-Augmented Generation (RAG) more accessible by pushing all the complexity of creating vector embeddings under the hood. Developers simply point to the source files sitting in cloud object storage, and HeatWave then handles the heavy lift. Customers can use Oracle’s embedding model or bring their own. And then they can use in-database AutoML to ground the language model and reduce hallucinations all without having to call separate databases or send the data elsewhere. These are major steps toward democratizing AI.” —Tony Baer Founder and CEO, dbInsight “HeatWave’s engineering innovation continues to deliver on the vision of a universal cloud database. The latest is generative AI done ‘HeatWave style’—which includes the integration of an automated, in-database vector store and in-database LLMs directly into the HeatWave core. This enables developers to create new classes of applications as they combine HeatWave elements. For example, they can combine HeatWave AutoML and HeatWave GenAI in a fraud detection application that not only detects suspicious transactions—but also provides an understandable explanation. This all runs in the database, so there’s no need to move data to external vector databases, keeping the data more secure. It also makes HeatWave GenAI highly performant at a fraction of the cost as demonstrated in competitive benchmarks.” —Holger Mueller VP and Principal Analyst, Constellation Research “With the launch of HeatWave GenAI, Oracle has applied an economic lens to the world of vector processing and, through third party benchmarks, demonstrated that HeatWave outperforms the competition for the workloads tested. This is relevant for executives responsible for paying monthly GenAI cloud bills as the more efficiently you can perform vector processing workloads, the less you spend. We’re intrigued by what we see as industry-first, in-database LLMs and an automated vector embedding capability. Add in the HeatWave Lakehouse solution to help organizations looking to get started in AI, as well as those ready for large-scale deployments, and you can see the Heatwave train continues to roll.” —Dave Vellante Co-CEO and Chief Analyst of theCUBE Research “Database vendors have been jumping on the GenAI, LLM, and vector search trend by adding vector capabilities to their existing databases. Customers are finding most of these implementations are too slow, too costly, or both. Oracle is changing the game. Based on a new independent benchmark, Snowflake, Databricks and Google BigQuery are several times slower at all aspects of vector processing – embedding, loading, and querying – than HeatWave GenAI. In fact, the benchmark results show that HeatWave GenAI is anywhere from 15X-30X faster, and as much as 6X cheaper. That’s like getting the performance of a Rimac Nevera for the price of a Kia EV6. That’s an incredible HeatWave GenAI value proposition. For organizations looking to run highly accurate and blazingly fast similarity search queries on unstructured data in object storage at an affordable price, HeatWave has the answer today.” —Marc Staimer Senior Analyst, theCUBEresearch “With the latest release of HeatWave GenAI, Oracle has again pushed the boundaries of database technology, demonstrating 30x better performance than the competition at a substantially lower cost. More important, however, is that customers now have a fully integrated GenAI platform that includes everything from a vector store and in-database LLMs to machine learning and natural language capabilities under the same hood. This approach eliminates unnecessary data movement and fragmentation, reduces the attack surface area, and helps to dramatically improve regulatory compliance posture. HeatWave GenAI exemplifies elegant and synergistic engineering design, demonstrating that such a combination of performance, efficiency, and security is impossible to achieve by just randomly connecting individual cloud services.” —Alexei Balaganski Lead Analyst and CTO, KuppingerCole Analysts “Generative AI holds a world of promise to organizations of all types and sizes. With that big promise comes big challenges as IT organizations are challenged in terms of budget, technology, and AI skills. Because of this, many organizations find themselves having to pause generative AI projects, putting them at risk of falling behind the competition. With HeatWave GenAI, IT organizations can easily move from concept to production through in-database large language models (LLMs) and vector store. This enables IT and app developers to quickly embed GenAI into its most precious resource – its data. These capabilities, married with HeatWave Chat also enable users and customers to perform queries and searches through natural conversations.” —Matt Kimball Vice President and Principal Analyst, Moor Insights & Strategy. “What do you get when you combine in-database LLMs and an automated vector store with a scale-out data processing engine optimized for data in object store? You get Oracle’s newly released HeatWave GenAI. In typical Oracle fashion, this release seeks to outperform the company’s primary competitors such as Snowflake. In terms of speeding up vector processing, Oracle is claiming a rather significant factor of 30X over its competitors “With or without such performance assertions, the bottom line is that HeatWave GenAI packs some serious performance „heat“ by doing similarity search processing in-memory. This goes beyond what we’ve seen from early vector databases and what customers get from many vector „plug-ins“ for traditional databases. Importantly, HeatWave GenAI brings this performance mentality to bear on development as well as execution by streamlining database setup and even automating complex tasks like model selection and content parsing/chunking. These moves will speed up the creation of impactful GenAI applications including applications like content summarization, retrieval augmented generation, and natural language conversations with data.” —Bradley Shimmin Chief Analyst, AI & Data Analytics, Omdia |
|
