CTERA stellt Data Intelligence Plattform vor – CTERA Introduces Data Intelligence Platform

Die visionäre Data Intelligence Plattform bietet Unternehmen eine umfassende Lösung für die sichere Verbindung von generativen KI-Funktionen mit ihren verteilten, unstrukturierten Datenbeständen in großem Umfang.

Mit dem neuen Data Intelligence-Angebot will CTERA die größten Hürden beseitigen, die Unternehmen daran hindern, das volle Potenzial von Large Language Models (LLMs) und anderen KI-Technologien in ihren gesamten Datenbeständen auszuschöpfen.

Zu den wichtigsten Herausforderungen, die CTERA Data Intelligence adressiert, gehören

– Effiziente Indexierung und Anreicherung großer Mengen unstrukturierter Daten

– Reduzierung des Risikos von Datenlecks und Sicherstellung der Einhaltung gesetzlicher Vorschriften

– Vermeidung von KI-Anbindung durch offene, modellübergreifende Integration

– Bereitstellung granularer, identitätsbasierter Kontrollen für den KI-Datenzugriff

„Unternehmen sitzen auf Exabytes von unstrukturierten Daten, die über Rechenzentren, Clouds und dezentrale Standorte verteilt sind. Diese könnten einen immensen Wert freisetzen, wenn sie durch KI erschlossen würden“, sagt Oded Nagel, CEO von CTERA. „Aktuelle Ansätze ignorieren jedoch entweder die Governance-Anforderungen oder die Daten sind in begrenzten Repositories isoliert, ohne Zugriff auf die Wissensbasis des Unternehmens. Mit Data Intelligence verbinden wir die Punkte zwischen Datendiensten, KI und robuster Governance.“

Die Data Intelligence Plattform basiert auf dem kürzlich angekündigten CTERA Notification Service, einem leistungsfähigen Nachrichtenbus, der in das globale Dateisystem von CTERA integriert ist. Der Notification Service ermöglicht Echtzeit-Publishing/Subscribing für Dateisystemereignisse und Datenänderungen im gesamten Unified Namespace.

Diese Echtzeit-Pipeline für unstrukturierte Daten eröffnet eine neue Welt datengetriebener Anwendungen und KI-Dienste, indem sie die effiziente Erfassung, Anreicherung und Verarbeitung von Daten an ihrer Quelle ermöglicht, sobald diese erstellt oder geändert werden. Der Notification Service lässt sich nahtlos mit dem patentierten CTERA Direct-Protokoll von CTERA für hochperformante Datenübertragungen integrieren, das Daten direkt aus dem Cloud-Speicher streamt und so eine unnötige Materialisierung von Dateien vermeidet.

Durch intelligentes Multi-Cloud-Daten-Routing kann CTERA optimieren, wo Metadatenanreicherungsoperationen wie Textextraktion und KI-Embedding verarbeitet werden, ohne dass teure Egress-Gebühren anfallen.

Um die Integration von KI zu vereinfachen, bietet CTERA ein umfangreiches Python SDK zum Aufbau von Datenpipelines und KI-Diensten, die in Echtzeit angereicherte Datenströme aus dem Notification Service verarbeiten. Dies kann von KI-Transkriptionsmaschinen bis hin zu fortgeschrittener Klassifikation, Anomalieerkennung oder Wissensabfrage über den globalen Datenbestand eines Unternehmens reichen.

CTERA demonstrierte eine ChatGPT-ähnliche Schnittstelle, die Abfragen in natürlicher Sprache über den gesamten Datenbestand eines Unternehmens durchführt. Darüber hinaus wurde eine Vorschau auf die Integration mit Microsoft Copilot gezeigt, die KI-gestützte Unterstützung für Benutzer bietet, indem sie über die vertraute Microsoft Teams-Oberfläche direkt auf den Datenbestand des Unternehmens zugreift.

„Mit dem Notification Service, der unsere Data Intelligence Plattform antreibt, können wir datengetriebene KI für das Unternehmen erschließen“, sagt Nagel. „Und ganz wichtig: Wir unterstützen vollständig private Bereitstellungsmodelle, bei denen die Daten sicher vor Ort bleiben – ohne SaaS-Abhängigkeiten.“

CTERA hob seine starke Datensicherheitsbilanz hervor. DISA APL und FIPS Zertifizierungen sind bereits vorhanden. Dies ermöglicht eine konforme Bereitstellung für Bundes-, Militär- und Heimatschutzbehörden als eine der ersten Lösungen, die den Einsatz großer, sicherer und kontrollierbarer Sprachmodelle in diesen Umgebungen ermöglicht.

CTERA befindet sich zwar noch in einer frühen Entwicklungsphase, arbeitet aber aktiv mit Entwicklungspartnern in Schlüsselbranchen zusammen, um die Data-Intelligence-Vision der Verbindung von generativer KI mit kontrollierten, global verteilten Unternehmensdatendiensten zu ermöglichen. Die allgemeine Verfügbarkeit ist für Ende 2024 geplant.

The visionary Data Intelligence Platform provides enterprises with a comprehensive solution for securely connecting generative AI capabilities to their distributed, unstructured data assets at scale.

With the new Data Intelligence offering, CTERA aims to remove the major barriers that prevent organizations from realizing the full potential of Large Language Models (LLMs) and other AI technologies across their data assets.

Key challenges addressed by CTERA Data Intelligence include

– Efficiently indexing and enriching large volumes of unstructured data

– Reducing the risk of data leakage and ensuring regulatory compliance

– Avoiding AI connectivity through open, cross-model integration

– Providing granular, identity-based controls for AI data access

„Organizations are sitting on exabytes of unstructured data spread across data centers, clouds, and distributed locations. This could unlock immense value if unlocked by AI,“ said Oded Nagel, CEO of CTERA. „However, current approaches either ignore governance requirements or isolate data in limited repositories with no access to the organization’s knowledge base. With Data Intelligence, we connect the dots between data services, AI and robust governance.“

The Data Intelligence platform is based on the recently announced CTERA Notification Service, a powerful message bus integrated with CTERA’s global file system. The Notification Service enables real-time publish/subscribe of file system events and data changes across the unified namespace.

This real-time pipeline for unstructured data opens up a new world of data-driven applications and AI services by enabling the efficient ingestion, enrichment, and processing of data at its source as it is created or modified. The Notification Service seamlessly integrates with CTERA’s patented CTERA Direct protocol for high-performance data transfers, which streams data directly from cloud storage, eliminating unnecessary file materialization.

Through intelligent multi-cloud data routing, CTERA can optimize where metadata enrichment operations such as text extraction and AI embedding are processed without incurring expensive egress fees.

To simplify AI integration, CTERA provides a comprehensive Python SDK for building data pipelines and AI services that process real-time enriched data streams from the Notification Service. This can range from AI transcription engines to advanced classification, anomaly detection, or knowledge discovery across an organization’s global dataset.

CTERA demonstrated a ChatGPT-like interface that performs natural language queries across an organization’s entire dataset. It also previewed its integration with Microsoft Copilot, which provides AI-powered assistance to users by accessing an organization’s dataset directly through the familiar Microsoft Teams interface.

„With the Notification Service as the foundation of our data intelligence platform, we can unlock data-driven AI for the enterprise,“ said Nagel. „And very importantly, we support completely private deployment models where data remains securely on-premises – with no SaaS dependencies.“

CTERA highlighted its strong data security record. DISA APL and FIPS certifications are already in place. This enables compliant deployment for federal, military, and homeland security agencies as one of the first solutions to enable the use of large, secure, and controllable language models in these environments.

While still in early development, CTERA is actively working with development partners in key industries to realize the Data Intelligence vision of combining generative AI with governed, globally distributed enterprise data services. General availability is planned for late 2024.