Databricks bringt Model Serving – Databricks brings Model Serving

Eine tiefgreifende Integration in die Lakehouse-Plattform sorgt für automatischen Datenabgleich, Governance und Überwachung während des gesamten Lebenszyklus von Daten und Modellen, vom Experimentieren über das Training bis zur Produktion. Databricks Model Serving ist jetzt allgemein auf AWS und auf Azure verfügbar.

Angesichts der Möglichkeiten, die sich im Zusammenhang mit generativer künstlicher Intelligenz bieten, sehen sich Unternehmen veranlasst, KI-Investitionen auf breiter Front zu priorisieren. Die Nutzung von KI/ML ermöglicht es Unternehmen, Erkenntnisse aus ihren Daten zu gewinnen, genaue und sofortige Vorhersagen zu treffen, die einen geschäftlichen Nutzen bringen, und neue KI-gestützte Erfahrungen für Kunden zu schaffen.

So kann eine Bank mithilfe von KI beispielsweise betrügerische Abbuchungen vom Konto eines Kunden schnell erkennen und bekämpfen, oder ein Einzelhändler kann auf der Grundlage der von einem Kunden gekauften Kleidungsstücke sofort perfekt ergänzende Accessoires vorschlagen. Die meisten dieser Erfahrungen sind in Echtzeitanwendungen integriert. Die Implementierung dieser Echtzeit-ML-Systeme stellt jedoch für viele Unternehmen eine Herausforderung dar, da ML-Experten eine Infrastruktur entwickeln und warten müssen, die dynamisch an die Nachfrage angepasst werden kann.

„Databricks Model Serving beschleunigt den Weg von Data-Science-Teams in die Produktion, indem er Implementierungen vereinfacht, den Overhead reduziert und eine vollständig integrierte Erfahrung direkt im Databricks Lakehouse bietet“, sagt Patrick Wendell, Mitbegründer und VP of Engineering bei Databricks. „Die Erweiterung unseres Serverless-Angebots um Echtzeit-ML wird es unseren Kunden ermöglichen, mit ihren Lakehouse-Daten noch mehr Werte zu schaffen und die Betriebskosten zu senken.“

Databricks Model Serving beseitigt die Komplexität des Aufbaus und Betriebs dieser Systeme und bietet native Integrationen im gesamten Lakehouse, einschließlich Databricks‘ Unity Catalog, Feature Store und MLflow. Die Lösung bietet einen hochverfügbaren Service mit geringer Latenz für Model Serving und gibt Unternehmen die Möglichkeit, ML-Vorhersagen einfach in ihre Produktionsabläufe zu integrieren. Vollständig von Databricks verwaltet, skaliert Model Serving schnell von Null auf und wieder zurück, wenn sich die Nachfrage ändert, was die Betriebskosten senkt und sicherstellt, dass Kunden nur für die genutzte Rechenleistung zahlen.

„Als weltweit führendes Haushaltsgeräteunternehmen ist Electrolux bestrebt, seinen Kunden die besten Erfahrungen zu bieten – wir verkaufen jedes Jahr etwa 60 Millionen Haushaltsprodukte in rund 120 Märkten. Der Wechsel zu Databricks Model Serving hat unsere Ambitionen unterstützt und es uns ermöglicht, schnell zu agieren: Wir haben unsere Inferenzlatenz um das 10-fache reduziert, was uns hilft, relevante und genaue Vorhersagen noch schneller zu liefern“, sagt Daniel Edsgard, Head of Data Science bei Electrolux.

„Indem wir Model Serving auf derselben Plattform betreiben, auf der auch unsere Daten liegen und auf der wir unsere Modelle trainieren, konnten wir die Bereitstellung beschleunigen und den Wartungsaufwand reduzieren, was uns letztendlich dabei hilft, unseren Kunden zu helfen und ein angenehmeres und nachhaltigeres Leben auf der ganzen Welt zu fördern.“

Databricks beschleunigt die Bereitstellung von ML-Modellen, indem es einen datenzentrierten Ansatz für maschinelles Lernen mit nativen Integrationen im Lakehouse bietet. Kunden können nun den gesamten ML-Prozess, von der Datenvorbereitung und dem Feature-Engineering bis hin zu Training, Bereitstellung und Überwachung, auf einer einzigen Plattform verwalten. Databricks‘ Lakehouse schafft eine konsistente Sicht über den gesamten Daten- und ML-Lebenszyklus, die Fehler minimiert und die Fehlersuche beschleunigt, ohne dass unterschiedliche Dienste zusammengefügt werden müssen. Databricks Model Serving lässt sich in verschiedene Lakehouse-Services integrieren, darunter:

• Feature Store: Bietet automatische Online-Lookups zur Vermeidung von Online/Offline-Verzerrungen. Definieren Sie Features einmal während des Modelltrainings, und Databricks wird die relevanten Features in Zukunft automatisch abrufen und verbinden.
• MLflow Integration: Nativer Anschluss an MLflow Model Registry, was eine schnelle und einfache Bereitstellung von Modellen ermöglicht – Sie stellen uns einfach das Modell zur Verfügung, und wir bereiten automatisch einen produktionsbereiten Container vor und stellen ihn auf Serverless Compute bereit.
• Unified Governance: Verwalten und steuern Sie mit Unity Catalog alle Daten und ML-Assets, einschließlich derer, die vom Model Serving verbraucht und erzeugt werden.

Databricks ist bestrebt, die Innovation mit seiner Lakehouse-Plattform voranzutreiben und weitere Funktionen bereitzustellen, die leistungsstarkes maschinelles Lernen in Echtzeit für jedes Unternehmen zugänglich machen. Dazu gehören neue Qualitäts- und Diagnosefunktionen, die in Kürze für Databricks Model Serving verfügbar sein werden. Diese werden automatisch Anfragen und Antworten in einer Delta-Tabelle erfassen, um Modelle zu überwachen und zu debuggen und Trainingsdatensätze zu generieren. Databricks ermöglicht auch die Unterstützung von GPU-basierter Inferenz, die in der Vorschau verfügbar ist.

Deep integration with the Lakehouse platform provides automated data reconciliation, governance, and monitoring throughout the data and model lifecycle, from experimentation to training to production. Databricks Model Serving is now generally available on AWS and on Azure.

Given the opportunities associated with generative artificial intelligence, organizations are finding themselves prioritizing AI investments across the board. Leveraging AI/ML enables organizations to gain insights from their data, make accurate and immediate predictions that deliver business value, and create new AI-powered experiences for customers.

For example, a bank can use AI to quickly identify and combat fraudulent debits from a customer’s account, or a retailer can instantly suggest perfectly complementary accessories based on the clothes a customer has purchased. Most of these experiences are integrated into real-time applications. However, implementing these real-time ML systems is a challenge for many companies, as ML experts must develop and maintain an infrastructure that can dynamically adapt to demand.

„Databricks Model Serving accelerates the path of data science teams into production by simplifying implementations, reducing overhead, and providing a fully integrated experience directly in the Databricks Lakehouse,“ said Patrick Wendell, co-founder and VP of Engineering at Databricks. „The addition of real-time ML to our Serverless offering will enable our customers to create even more value with their Lakehouse data and reduce operational costs.“

Databricks Model Serving removes the complexity of building and operating these systems and provides native integrations across Lakehouse, including Databricks‘ Unity Catalog, Feature Store and MLflow. The solution provides a highly available, low-latency service for Model Serving and gives organizations the ability to easily integrate ML predictions into their production workflows. Managed entirely by Databricks, Model Serving quickly scales from zero to zero and back again as demand changes, reducing operational costs and ensuring customers only pay for the computing power they use.

„As the world’s leading appliance company, Electrolux is committed to providing the best experience for its customers – we sell approximately 60 million household products each year in approximately 120 markets. Switching to Databrick’s Model Serving has supported our ambitions and enabled us to move quickly: We’ve reduced our inference latency by 10x, which helps us deliver relevant and accurate predictions even faster,“ said Daniel Edsgard, Head of Data Science at Electrolux.

„By running Model Serving on the same platform where our data resides and where we train our models, we’ve been able to accelerate deployment and reduce maintenance, which ultimately helps us help our customers and promote more convenient and sustainable living around the world.“

Databricks accelerates ML model deployment by providing a data-centric approach to machine learning with native integrations in Lakehouse. Customers can now manage the entire ML process, from data preparation and feature engineering to training, deployment and monitoring, on a single platform. Databricks‘ Lakehouse creates a consistent view across the entire data and ML lifecycle that minimizes errors and speeds troubleshooting without having to stitch disparate services together. Databricks Model Serving integrates with several Lakehouse services, including:

– Feature Store: Provides automatic online lookups to avoid online/offline bias. Define features once during model training, and Databricks will automatically retrieve and connect the relevant features in the future.

– MLflow Integration: natively connect to MLflow Model Registry, enabling fast and easy model deployment – you simply provide us the model, and we automatically prepare a production-ready container and deploy it to Serverless Compute.

– Unified Governance: manage and control all data and ML assets, including those consumed and generated by model serving, with Unity Catalog.

Databricks is committed to driving innovation with its Lakehouse platform and delivering additional capabilities that make powerful, real-time machine learning accessible to any organization. These include new quality and diagnostic capabilities that will soon be available for Databricks Model Serving. These will automatically capture queries and responses in a delta table to monitor and debug models and generate training datasets. Databricks also enables support for GPU-based inference, which is available in Preview.