Künstliche Intelligenz (KI) und moderne Datenarchitekturen kombiniert mit Analyse in einem Data Lakehouse hilft Unternehmen, sich gegen die Rezession zu stemmen (English Version below).
Autor: Roman Pritzkow, Regional Vice President (RVP) DACH bei Databricks
Mit der Diskussion um ChatGPT wurde KI wieder auf die Agenda gesetzt. Mit ihren vielen weitreichenden Vorteilen, wie der Steigerung der Effizienz und der Zeitersparnis, entwickelt sich KI zu einem Game Changer. Und deshalb hat es auch das Potenzial, in diesem schwierigen Jahr des wirtschaftlichen Abschwungs ein großer Verbündeter für Unternehmen zu sein. Der MIT-Bericht mit dem Titel “CIO Vision 2025: Bridging the gap between BI and AI”, in dem CIOs, CTOs, Chief Data and Analytics Officers und andere Führungskräfte aus dem Bereich Datentechnologie befragt wurden, ergab, dass 94 Prozent der Befragten angaben, KI bereits in ihrem Geschäftsbereich einzusetzen.
Darüber hinaus gab weit mehr als die Hälfte der befragten Führungskräfte an, dass sie davon ausgehen, dass der Einsatz von KI in Geschäftsfunktionen bis 2025 weit verbreitet oder entscheidend sein wird. Dies ist beachtlich, aber nur weil KI bereits von vielen Unternehmen als Teil ihrer Datenarchitektur eingesetzt wird, bedeutet dies nicht, dass ihre Vorteile auch voll ausgeschöpft werden. Wie kommt man also von A nach B, von der anfänglichen Investition in KI zu den tatsächlichen Endresultaten?
Viele Unternehmen arbeiten derzeit mit veralteten Datenarchitekturen, wie Data Warehouses. Sie haben eine lange Geschichte in der Entscheidungsunterstützung und bei Business Intelligence-Anwendungen, waren jedoch nicht geeignet oder zu teuer für die Verarbeitung unstrukturierter Daten, halbstrukturierter Daten und Daten mit hoher Vielfalt, Geschwindigkeit und Volumen. Die Komplexität dieser Legacy-Strukturen kann zur Bildung von Informationssilos führen und verhindern, dass Daten problemlos verteilt werden können. Darüber hinaus können ungenaue Datensätze, die doppelte oder veraltete Informationen enthalten, gemeinsam genutzt werden, was in der Folge zu größeren Problemen führt. Ohne qualitativ hochwertige Daten kann KI einfach nicht in vollem Umfang eingesetzt werden.
Unternehmen benötigen Systeme für verschiedene Datenanwendungen wie SQL-Analysen, Echtzeitüberwachung, Data Science und maschinelles Lernen. Jüngste Fortschritte in der KI liegen in besseren Modellen zur Verarbeitung unstrukturierter Daten (Text, Bilder, Video, Audio), aber das sind genau die Arten von Daten, für die ein Data Warehouse nicht optimiert ist. Ein gängiger Ansatz ist die Verwendung mehrerer Systeme – ein Data Lake, mehrere Data Warehouses und andere spezialisierte Systeme wie Streaming-, Zeitreihen-, Graphen- und Bilddatenbanken.
Eine Vielzahl von Systemen führt zu Komplexität und, was noch wichtiger ist, zu Verzögerungen, da Datenexperten immer Daten zwischen verschiedenen Systemen verschieben oder kopieren müssen. Unternehmen sollten eine moderne Architektur anstreben, die die Anzahl der benötigten Plattformen reduziert und einen Großteil der Komplexität älterer Architekturen beseitigt. Dies wird dazu beitragen, den rechtzeitigen Fluss genauer Daten zu gewährleisten und Daten für Analysen sowie KI- und ML-Anwendungsfälle einfach zu speichern. Die Antwort liegt darin, von Anfang an eine starke, moderne Datengrundlage zu schaffen – beispielsweise ein Data Lakehouse.
Bei der Entscheidung für eine Architektur zur Unterstützung von KI sollten Unternehmen die folgenden drei Aspekte bei der Auswahl der richtigen Plattform berücksichtigen:
Multi-Cloud: Dies ist für die Skalierung von KI in einem Unternehmen unerlässlich, da die Überwachung und Optimierung von KI-Projekten über mehrere Anbieterumgebungen hinweg sehr komplex ist. Darüber hinaus ermöglicht ein Multi-Cloud-Ansatz Unternehmen, das beste Preis-Leistungs-Verhältnis für ihre Workloads zu erzielen. Cloud-Anbieter verlangen in der Regel Gebühren für das Verschieben von Daten in ihre und aus ihren Clouds, sind aber zunehmend bereit, diese Kosten zu senken. Tatsächlich zahlen viele der größten Unternehmen der Welt keine Egress-Gebühren. Dieser Trend wird sich wahrscheinlich fortsetzen, was bedeutet, dass Multi-Could mit der Zeit immer kostengünstiger wird.
Offenheit: Die KI ist ein großer Nutznießer der offenen Zusammenarbeit mit mehreren Partnern. Denn der künftige Erfolg von KI-Projekten hängt zu einem großen Teil von Daten, Erkenntnissen und Tools ab, die aus externen Quellen stammen. Eine Datentechnologie, die offene Standards und offene Datenformate bevorzugt, ist gut geeignet, diese Zusammenarbeit zu erleichtern.
Demokratisierung: Je mehr KI-basierte Innovationen erscheinen, desto mehr Mitarbeiter werden benötigt, die KI-Algorithmen konfigurieren und verbessern können. Um diese Nachfrage zu befriedigen, ist Demokratisierung der Schlüssel – zumal KI-Spezialisten und Datenwissenschaftler nur begrenzt verfügbar sind. Die Demokratisierung wird dazu beitragen, “citizen data scientists” zu schaffen – datenkundige Mitarbeiter ohne spezielle Ausbildung in Datenwissenschaft. Jede Modernisierung der Infrastruktur sollte darauf abzielen, den Zugang der Mitarbeiter zu Daten zu erweitern, die für die Entwicklung von Algorithmen benötigt werden, um diesen Bedarf zu decken.
Fazit
Der wirtschaftliche Abschwung wird sich auf fast alle Branchen auswirken, aber Führungskräfte sollten dies als große Chance begreifen, um ihre Unternehmen für die künftigen Herausforderungen zu rüsten. Die Fähigkeit, sich schneller an Veränderungen im wirtschaftlichen Umfeld anzupassen, wird sie in die Lage versetzen, krisenfester zu sein, als sie es jetzt sind. Eine moderne KI- und Datenarchitektur ist die Grundlage dafür, dass Unternehmen agil und nachhaltig handeln können.
(English Version)
Fighting the downturn with AI and modern data architectures
Artificial intelligence (AI) and modern data architectures combined with analytics in a data lakehouse are helping companies fight the recession.
Author: Roman Pritzkow, RVP DACH at Databricks
ChatGPT has put AI back on the agenda. With its many far-reaching benefits, such as increasing efficiency and saving time, AI is becoming a game changer. And that’s why it has the potential to be a great ally for businesses in this difficult year of economic downturn. The MIT report, titled „CIO Vision 2025: Bridging the gap between BI and AI,“ which surveyed CIOs, CTOs, chief data and analytics officers and other data technology executives, found that 94 percent of respondents said they were already using AI in their business.
In addition, well over half of the executives surveyed said they expect the use of AI in business functions to be widespread or critical by 2025. This is significant, but just because AI is already being used by many companies as part of their data architecture doesn’t mean its benefits are being fully realized. So how do you get from A to B, from the initial investment in AI to the actual end results?
Many companies are currently working with outdated data architectures, such as data warehouses. They have a long history in decision support and business intelligence applications, but were unsuitable or too expensive for processing unstructured data, semi-structured data, and data with high variety, velocity, and volume. The complexity of these legacy structures can lead to the creation of information silos and prevent data from being easily distributed. In addition, inaccurate data sets that contain duplicate or outdated information can be shared, leading to greater problems down the road. Without high-quality data, AI simply cannot be used to its full potential.
Organizations need systems for various data applications such as SQL analytics, real-time monitoring, data science and machine learning. Recent advances in AI have been in better models for processing unstructured data (text, images, video, audio), but these are exactly the types of data for which a data warehouse is not optimized. A common approach is to use multiple systems – a data lake, multiple data warehouses, and other specialized systems such as streaming, time series, graph, and image databases.
Having multiple systems introduces complexity and, more importantly, delays, as data scientists must always move or copy data between different systems. Organizations should aim for a modern architecture that reduces the number of platforms needed and eliminates much of the complexity of older architectures. This will help ensure the timely flow of accurate data and make it easy to store data for analytics and AI and ML use cases. The answer lies in creating a strong, modern data foundation from the start – for example, a data lakehouse.
When deciding on an architecture to support AI, organizations should consider the following three aspects when choosing the right platform:
Multi-cloud: This is essential for scaling AI across an enterprise, as monitoring and optimizing AI projects across multiple vendor environments is very complex. In addition, a multi-cloud approach enables enterprises to get the best value for their workloads. Cloud providers typically charge to move data to and from their clouds, but are increasingly willing to reduce these costs. In fact, many of the largest companies in the world do not pay egress fees. This trend is likely to continue, meaning that multi-could will become more cost-effective over time.
Openness: AI is a big beneficiary of open collaboration with multiple partners. That’s because the future success of AI projects depends in large part on data, insights and tools that come from external sources. A data technology that favors open standards and open data formats is well suited to facilitate this collaboration.
Democratization: the more AI-based innovations appear, the more people will be needed to configure and improve AI algorithms. To meet this demand, democratization is key – especially since AI specialists and data scientists are in limited supply. Democratization will help create „citizen data scientists“ – data-savvy workers without specialized training in data science. Any infrastructure modernization should aim to expand workforce access to data needed to develop algorithms to meet this need.
Conclusion
The economic downturn will impact almost all industries, but executives should see this as a great opportunity to equip their organizations to meet future challenges. The ability to adapt more quickly to changes in the economic environment will enable them to be more resilient to crises than they are now. A modern AI and data architecture is the foundation for companies to be agile and sustainable.
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de