Das mandantenfähige Gateway Apache Kyuubi, das serverloses SQL auf Data Lakehouses bietet, ist jetzt ein Apache Top-Level-Projekt.
Die Apache Software Foundation (ASF), Inkubator von mehr als 350 Open-Source-Projekten und -Initiativen, hat Apache Kyuubi den Status eines Top-Level-Projekts (TLP) verliehen.
„Wir freuen uns sehr, dass Kyuubi von der Inkubation zu einem Top-Level-Projekt aufsteigt. Seit der ersten Open-Source-Einführung im Jahr 2018 hat unsere Community hart daran gearbeitet, Kyuubi bis zu diesem Stadium zu bringen. Es ist eine Anerkennung für ihre harte Arbeit und ihr Engagement“, sagte Willem Ning Jiang, PPMC-Mitglied und Inkubator. „Wir freuen uns darauf, mit der Community zusammenzuarbeiten, um Kyuubis Tenancy, Verfügbarkeit und Workload-Management weiter zu verbessern.“
Apache Kyuubi ist ein verteiltes und mandantenfähiges Gateway, das serverloses SQL auf Data Warehouses und Data Lakehouses bietet. Kyuubi bietet ein reines SQL-Gateway über die Thrift JDBC/ODBC-Schnittstelle für Endbenutzer, um große Daten mit vorprogrammierten und erweiterbaren Spark SQL-Engines zu bearbeiten. Dies minimiert die Barrieren und Kosten für Endbenutzer, Spark auf der Client-Seite zu verwenden. Auf der Serverseite bietet die mandantenfähige Architektur des Kyuubi-Servers und der Engines Administratoren eine Möglichkeit, die Isolierung von Rechenressourcen, Datensicherheit, Hochverfügbarkeit und hohe Client-Gleichzeitigkeit zu erreichen.
Kyuubi Überblick und Vorteile
Um das Ziel der Bereitstellung von serverlosem SQL auf Data Warehouses und Lakehouses zu erreichen, müssen Kunden in der Lage sein, von überall auf Daten zuzugreifen, Daten in großem Umfang bereitzustellen und eine Verbindung zu beliebigen Daten herzustellen. Kyuubi’s erfüllt diese Anforderungen mit:
Unified Gateway (Datenzugriff von überall):
Das Servermodul spielt die Rolle eines einheitlichen Gateways und bietet einen einzigen Zugangspunkt zu jedem Cluster. Administratoren haben einen einzigen Zugangspunkt für die Konfiguration, Sicherheit und Kontrolle des Fernzugriffs auf Cluster, was wiederum den Endnutzern eine nahtlose Datenverarbeitung mit jeder benötigten Kyuubi-Engine ermöglicht. Verschiedene Protokolle und APIs, einschließlich Apache Thrift, JDBC, ODBC, REST usw., werden unterstützt.
Verteilte Engines (Bereitstellung von Daten in großem Umfang)
Das Engine-Modul übernimmt die Rolle der Abfragelaufzeit und unterstützt moderne verteilte Computing-Frameworks, damit Endbenutzer Daten auf Einzelknotenrechnern oder Clustern, wie YARN und Kubernetes, verarbeiten können. Die Engines laufen unter der Governance des Servers in mandantenfähigen und anwendungsübergreifenden Umgebungen, um unterschiedliche Arbeitslasten in beliebigem Umfang zu verarbeiten. Die serverseitige globale und kontinuierliche Optimierung kann von Administratoren auf alle Anwendungen angewandt werden, wodurch Endbenutzer von komplexen Leistungseinstellungen befreit werden.
Diverse Konnektoren (Verbindung zu beliebigen Daten)
Die Konnektoren sind Teil des Plugin-Systems, mit dem Endbenutzer eine Verbindung zu beliebigen Daten herstellen können. Zur grundlegenden Erkennung und Erforschung können Endbenutzer Daten im Data Lake in verschiedenen Formaten (Parquet, CSV, JSON, Text) aus Cloud-basierten Speichern oder On-Prem-HDFS-Clustern schnell analysieren. Für die Bildung und Analyse von Lakehouses können Endbenutzer einfach eine ACID-Tabellenspeicherebene mit integriertem Hudi, Iceberg oder/und Delta Lake erstellen. Sie können auch eine relationale Abstraktion auf disparaten Daten aufbauen, ohne ETL-Jobs (exact, transform and load), was Datenlösungen von der Erfassung bis zur Verbindung optimiert.
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de