Das israelische Start-Up Treeverse bringt mit LakeFS eine Open Source Data Lake Lösung an den Start, die es erlaubt, Daten wie Code zu verwalten.

Israeli startup Treeverse is launching LakeFS, an open source data lake solution that allows data to be managed like code.

Die beiden israelischen Gründer und CEOs Oz Katz und Einat Orr (Bild) haben Treeverse im Januar 2020 aus der Taufe gehoben. Mittlerweile ist der Firmensitz offiziell in Santa Monica (Kalifornien/USA), die Mehrzahl der 31 Beschäftigten ist aber nach wie vor in Tel Aviv tätig. In einer ersten Finanzierungsrunde hat das Unternehmen Mittel in Höhe von 23 Millionen US-Dollars von den Kapitalgebern Zeev Ventures, NVP und DTC erhalten.

Die Firmengründer Oz Katz und Einat Orr erläutern auf der IT-Press-Tour das Konzept von LakeFS (Bild: Carolina Heyder)

Vereinfachen Sie das Leben von Ingenieuren, Datenwissenschaftlern und Analysten, die die Welt mit Daten verändern. Treeverse ist ein Team von leidenschaftlichen Datenenthusiasten, die alles lieben, was mit Open Source zu tun hat, und kreative Lösungen für große Probleme finden wollen.

LakeFS ist ein Open-Source-Projekt, das Dateningenieuren über eine Git-ähnliche Versionskontrollschnittstelle Versionierungs- und Verzweigungsfunktionen für ihre Data Lakes bietet.

Es bietet:

  • Sicheres Experimentieren und Testen mit vollständigen Produktionsdaten
  • Einfache Zusammenarbeit mit Ihrem Team an Produktionsdaten
  • Automatisieren Sie Datenqualitätsprüfungen innerhalb von Datenpipelines
  • Schlechte Daten werden nicht veröffentlicht, sind aber in der Isolation zur Fehlersuche verfügbar
  • Schnelle Behebung von Datenqualitätsproblemen in der Produktion durch Rückgängigmachen des gesamten Data Lake und nicht nur einer bestimmten Tabelle
  • Fehlerbehebung an einer isolierten Version der Produktionsdaten zum Zeitpunkt des Fehlers

Das Verwalten von Daten wie Code mit lakeFS ist in 20 Minuten möglich. Das Unternehmen verspricht eine Kostenreduzierung der Storage in Höhe von 20%-80% sowie eine erhöhte Effizienz der Ingenieure. Treeverse baut derzeit eine Gemeinschaft von Benutzern auf (>4K Mitglieder).

LakeFS ist komplett Open Source und kostenlos. Geld verdienen will das Unternehmen mit Support-Angeboten ab $2.500 pro Monat.

Das Konzept, „wie Git für Daten“: Versionskontrolle für Code, sondern Versionskontrolle für Daten. Die Idee ist, Daten wie Code zu verwalten, „mit LakeFS in 20 Minuten“, also ein Lösung für die Versionskontrolle von Daten.

Da sich auch Daten ständig ändern, hilft LakeFS bei der Verwaltung von Daten (erster Schritt) und kann auch Versionen von Daten vergleichen. LakeFS kopiert keine Daten, sondern ist ein Metadaten-Tool, das Daten repliziert und Zeiger auf Datendateien erstellt. Ein Zeiger auf einen Satz von Objekten. Klare Trennung von Daten und Metadaten. Infrastrukturansatz für die Kontrolle der Datenversionierung. Unterstützung von Daten, unabhängig davon, ob sie sich in einem Objektspeicher oder einer Datenbank befinden.

Das bietet Vorteile bei der Erfüllung von GDPR und anderen Compliance-Vorgaben, weil man beweisen muss, was man verändert hat, ürsprüngliche Unterlagen absichern.

Das Problem, das lakeFS löst:

-Heute kopieren die meisten Unternehmen Daten und verbrauchen mehr Speicherplatz, der Unterschied mit lakeFS kopiert keine Daten und spart Speicherplatz (Speicherkostenreduktion 20-80%).

-Verdoppelung der Effizienz von Ingenieuren, einfache Datenreservierung auf frühere Datenversionen, wenn jemand einen Fehler macht und die frühere Version der Daten benötigt.

-Sofortige Wiederherstellung bei Produktionsausfällen.

Das Unternehmen ist an Gesprächen mit Resellern und Distributoren in Deutschland und am Einstieg in den indirekten Vertrieb interessiert.  Im Moment fokussiert man sich darauf, die Lösung direkt an den Mann zu bringen. LakeFS ist im AWS-Marktplatz bereits gelistet, weitere sollen folgen.

Israeli founders and CEOs Oz Katz and Einat Orr (pictured) launched Treeverse in January 2020. The company is now officially headquartered in Santa Monica (California/USA), but the majority of its 31 employees are still based in Tel Aviv. In a first round of financing, the company has received funding of 23 million US dollars from investors Zeev Ventures, NVP and DTC.

Co-Founders Oz Katz and Einat Orr present on the IT-Press-Tour LakeFS (Picture: Carolina Heyder)

Simplify the lives of engineers, data scientists and analysts who change the world with data. Treeverse is a team of passionate data enthusiasts who love all things open source and want to find creative solutions to big problems.

LakeFS is an open source project that provides data engineers with versioning and branching capabilities for their data lakes via a Git-like version control interface.

It provides:

  • Safe experimentation and testing with full production data.
  • Easily collaborate with your team on production data.
  • Automate data quality checks within data pipelines.
  • Bad data is not published, but is available in isolation for troubleshooting
  • Quickly troubleshoot data quality issues in production by undoing the entire data lake, not just a specific table
  • Troubleshooting an isolated version of the production data at the time of the error.

Managing data like code with lakeFS is possible in 20 minutes. The company promises storage cost reductions of 20%-80% and increased engineering efficiency. Treeverse is currently building a community of users (>4K members).

LakeFS is completely open source and free. The company plans to make money with support offerings starting at $2,500 per month.

The concept, „like Git for data“: version control for code, but version control for data. The idea is to manage data like code, „with LakeFS in 20 minutes,“ so it’s a version control solution for data.

Since data is also constantly changing, LakeFS helps manage data (first step) and can also compare versions of data. LakeFS does not copy data, but is a metadata tool that replicates data and creates pointers to data files. A pointer to a set of objects. Clear separation of data and metadata. Infrastructure approach to data versioning control. Support for data whether it resides in an object store or a database.

This offers advantages in meeting GDPR and other compliance mandates because you have to prove what you changed.

 

The problem lakeFS solves:

-Today most companies copy data and consume more storage, the difference with lakeFS does not copy data and saves storage (storage cost reduction 20-80%).

-Doubling the efficiency of engineers, easy data reservation to previous data versions when someone makes a mistake and needs the previous version of the data.

-Instant recovery from production outages.

The company is interested in talking to resellers and distributors in Germany and getting into indirect sales.  At the moment, it is focused on bringing the solution directly to the market. LakeFS is already listed in the AWS marketplace, with more to follow.

Von Carolina Heyder

Carolina Heyder ist Chefredakteurin Security Storage und Channel Germany sowie freiberufliche IT-Fachjournalistin und Moderatorin. Sie verfügt über langjährige Erfahrung in renommierten Verlagshäusern wie WEKA-Fachmedien, Springer und Aspencore. Ob Text fürs Web oder Print, Audio oder Video. Am Laptop, vor dem Mikrofon oder der Kamera. Ob in Deutsch, Englisch oder Spanisch, Carolina Heyder ist in der IT-Welt Zuhause. Ihre Themenschwerpunkte sind Cybersecurity, Digitale Transformation, Nachhaltigkeit, Storage u. a. Carolina Heyder is Editor-in-Chief of Security Storage and Channel Germany as well as a freelance IT journalist and presenter. She has many years of experience at renowned publishing houses such as WEKA-Fachmedien, Springer and Aspencore. Whether text for the web or print, audio or video. On the laptop, in front of the microphone or the camera. Whether in German, English or Spanish, Carolina Heyder is at home in the IT world. Her main topics are cybersecurity, digital transformation, sustainability, storage and others. Kontakt – Contact via Mail: carolina.heyder@security-storage-und-channel-germany.com

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

WordPress Cookie Hinweis von Real Cookie Banner