Tobiko bringt Tobiko Cloud – Tobiko Launches Tobiko Cloud

Als die drei Tobiko Gründer Iaroslav Zeigerman, Tyson Mao und Toby Mao  das Start-up aus der Taufe hoben, war ihr Ansatz, dass die Quelle der Wahrheit für den Analytics Stack wirklich in der Transformationsschicht liegt. Als sie begannen, in diesem Bereich zu forschen, stellten sie fest, dass die Ansätze in bestehenden Data-Engineering-Lösungen ziemlich naiv waren.

„Wir haben SQLMesh, unser Open-Source-Framework zur Datentransformation, entwickelt, weil wir wussten, dass es einen besseren Weg gibt, Daten zur Verfügung zu stellen“, erklärt Toby Mao.

Ein Großteil des Teams hat zuvor für die größten Unternehmen der Technologiebranche gearbeitet: Google, Apple, Airbnb und Netflix. Bei so großen Unternehmen ist es unpraktisch, bei jeder kleinen Änderung das Data Warehouse neu aufzubauen. Deshalb hat Tobiko einen Ansatz für das Management von Datenpipelines gewählt, der für kleine Teams geeignet und mit Unternehmen kompatibel ist, die sowohl mit der Datenmenge als auch mit der Teamgröße wachsen.

Daten sind etwas anderes als Software; das Verständnis Ihrer Baupläne ist entscheidend für den effizienten Bau Ihres Hauses (und Ihrer Daten). Was als Open-Source-Projekt begann, hat sich zu einem grundlegenden Werkzeug für unsere Reise in die Datentransformation entwickelt: SQLGlot. SQLGlot ermöglicht es SQLMesh, SQL zu analysieren und Änderungen an einer Abfrage semantisch zu verstehen.

Dabei stellen sich folgend Fragen: „Haben wir eine Spalte hinzugefügt? Wenn ja, müssen wir die nachgelagerten Tabellen nicht neu erstellen. Haben Sie eine Spalte verändert? Dann müssen wir nachgelagerte Tabellen neu erstellen, wenn diese Tabellen von der geänderten Spalte abhängen.“

Vermeiden Sie die Wiederholung bereits erledigter Arbeit. Berechnungen kosten Geld (und es wird schlimmer, je mehr Daten Sie haben), wenn Sie also eine Tabelle bereits erstellt haben, warum sollten Sie es noch einmal tun? Um genau dies zu erreichen, hat Tobiko die virtuellen Datenumgebungen von SQLMesh eingeführt. Es ist üblich, dass Analysten ähnliche Fragen beantworten und ihre Analyse wiederholen. Sie nehmen vielleicht eine kleine Änderung an einem Teil vor, aber mit den heutigen Tools wird die gesamte Analyse neu berechnet. Wenn zwei Analysten dieselbe Abfrage ausführen, wird die Berechnung jedes Mal durchgeführt, obwohl sich am Ergebnis nichts geändert hat. Die virtuellen Datenumgebungen von SQLMesh vermeiden diese Ineffizienz (die selbst dann auftreten kann, wenn Sie Ihr Projekt nur einrichten).

Eine zustandsorientierte Erfahrung. Um die oben genannten Aufgaben erfolgreich durchführen zu können, müssen Sie den Zustand Ihrer Daten verstehen und wissen, was mit ihnen geschehen ist. Es ist schwierig, effizient zu arbeiten, selbst wenn Sie Ihre Pläne gut kennen, wenn Sie nicht wissen, wie viel Arbeit am Vortag erledigt wurde. SQLMesh ist als zustandsbehaftete Erfahrung aufgebaut, was bedeutet, dass wir erstklassige Unterstützung für inkrementelle Modelle haben. Es ist eine Verschwendung, die gesamte Tabelle neu zu erstellen, nur um die Daten des letzten Tages hinzuzufügen.

„Wir wollen die besten Praktiken der Softwareentwicklung in die Welt der Daten bringen, sind uns aber bewusst, dass Daten einfach nicht dasselbe sind wie Software. Wir hoffen, dass diese Ideen es Datenteams ermöglichen, ihre Pipelines besser und mit mehr Spaß zu erstellen und zu pflegen“, so Mao.

„Als starke Befürworter von Open Source sind wir dankbar für die Unterstützung und den Enthusiasmus der Community. Enge Partnerschaften mit unseren Community-Mitgliedern und Organisationen wie Fivetran, Harness, Dreamhaven und Pipe waren äußerst hilfreich, um sicherzustellen, dass SQLMesh die Anforderungen von Teams in Produktionsumgebungen erfüllt, und wir haben greifbare Ergebnisse gesehen: Durch den Einsatz von SQLMesh in Harness konnten die Ausgaben für BigQuery um 30-40% gesenkt werden,“ so Mao weiter.

SQLMesh als Managed Cloud

SQLMesh bietet Unternehmen einen echten Mehrwert bietet und wird jetzt mit einem Managed Cloud-Angebot aufgewertet. Tobiko Cloud bietet Unternehmen eine gehostete Version von SQLMesh in Unternehmensqualität.

Tobiko setzt sich weiterhin für eine kostenlose und leistungsstarke Open Source SQLMesh-Lösung ein und ist überzeugt, dass Tobiko Cloud Unternehmen, die ihre Datenumwandlungs-Workflows vereinfachen und nahtlos skalieren möchten, einen enormen Mehrwert bieten wird. Tobiko Cloud beinhaltet Observer als Observability-Produkt, mit dem Sie schnell verstehen und bewerten können, was in Ihren Pipelines passiert.

SQLMesh versteht SQL, Observer versteht SQLMesh. Mit Observer können Datenteams jede Version jeder Pipeline verstehen, die ausgeführt wird. Da Observer in SQLMesh integriert ist, versteht er semantisch die Änderungen an Ihrer SQL.

„Wenn etwas kaputt geht, können wir Ihnen nicht nur sagen, dass etwas kaputt ist, sondern wir können Ihnen auch zeigen, was dazu beigetragen hat (schlechter Code oder schlechte Daten). Wir glauben, dass der Observer die Produktivität von Datenteams erheblich steigern wird, indem er es ihnen ermöglicht, ihre Projekte schneller und genauer zu debuggen“, so Mao abschließend.

Vertriebsstrategie

Tobiko Cloud als Managed Cloud ist eine Open Source Lösung mit einer Enterprise Variante. Diese Enterprise-Variante wird im Rahmen eines Lizenzmodells vertrieben. Zielnutzer sind Entwickler, die über den Slack-Kanal mit mehreren tausend Entwicklern, die Teilnahme an Konferenzen und Partner wie Snowflake und das Databricks-Entwickler-Ökosystem angesprochen werden. SQLMesh und SQLGlot sind Produkte, die den Entwicklern in diesem Ökosystem gut bekannt sind. Die überwiegende Mehrheit der Verkäufe erfolgte direkt, einige indirekt über Softwareintegrationen. In Europa gibt es bereits Kunden in wichtigen Ländern wie Großbritannien, Deutschland und Frankreich, die von SQLMesh- und SQLGlot-Anwendern gefunden und aufgebaut wurden. Das Kundenprofil besteht hauptsächlich aus großen Analyse- und Data-Warehouse-Projekten.

Neue Finanzierungsrunde

Außerdem hat Tobiko gerade einer Serie-A-Finanzierungsrunde in Höhe von 17,3 Millionen US-Dollar abgeschlossen. Die Investition wird von Theory Ventures angeführt, mit Beteiligung von Unusual Ventures, 20Sales, Fivetran CEO George Fraser, Census CEO Boris Jabes und MotherDuck CEO Jordan Tigani.

Tomasz Tunguz, Gründer von Theory Ventures, und Wei Lien Dang von Unusual Ventures werden im Rahmen der Investition neben den drei Tobiko Gründern Iaroslav Zeigerman sowie den Brüdern Tyson Mao und Toby Mao  in das Board eintreten. Damit erhöht sich die Gesamtfinanzierung von Tobiko auf 21,8 Millionen US-Dollar, einschließlich einer zuvor nicht angekündigten Seed-Runde in Höhe von 4,5 Millionen US-Dollar, die von Unusual Ventures angeführt wurde.

When Tobiko’s three founders, Iaroslav Zeigerman, Tyson Mao and Toby Mao, started the company, their approach was that the source of truth for the analytics stack really lies in the transformation layer. As they began researching this area, they realized that the approaches in existing data engineering solutions were quite naive.

„We developed SQLMesh, our open source data transformation framework, because we knew there was a better way to deliver data,“ said Toby Mao.

Much of the team previously worked for the biggest companies in the technology industry: Google, Apple, Airbnb, and Netflix. With such large companies, it is impractical to rebuild the data warehouse every time there is a small change. That’s why Tobiko has taken an approach to data pipeline management that works for small teams and is compatible with organizations that grow with both data volume and team size.

Data is different from software; understanding your blueprints is critical to building your house (and your data) efficiently. What started as an open source project has evolved into a foundational tool for our data transformation journey: SQLGlot. SQLGlot allows SQLMesh to analyze SQL and semantically understand changes to a query.

This raises the following questions „Did we add a column? If so, we do not need to rebuild the downstream tables. Did we change a column? Then we need to rebuild downstream tables if they depend on the changed column”.

Avoid repeating work that has already been done. Computation costs money (and it gets worse the more data you have), so if you’ve already created a table, why do it again? Tobiko introduced SQLMesh virtual data environments to do just that. It’s common for analysts to answer similar questions and repeat their analysis. They may make a small change to one part, but with today’s tools, the entire analysis is recalculated. If two analysts run the same query, the calculation is performed each time, even though nothing has changed in the result. SQLMesh’s virtual data environments eliminate this inefficiency (which can occur even when you’re just setting up your project).

A stateful experience. To perform the above tasks successfully, you need to understand the state of your data and what has happened to it. It’s hard to work efficiently, even if you know your plans well, if you don’t know how much work was done the day before. SQLMesh is built as a stateful experience, which means we have best-in-class support for incremental models. It’s a waste to rebuild the entire table just to add last day’s data.

„As a strong proponent of open source, we are grateful for the support and enthusiasm of the community. Working closely with our community members and organizations such as Fivetran, Harness, Dreamhaven and Pipe has been extremely helpful in ensuring that SQLMesh meets the needs of teams in production environments, and we have seen tangible results: Using SQLMesh in Harness has reduced BigQuery spend by 30-40%,“ continued Mao.

„We want to bring the best practices of software development to the world of data, but we recognize that data is not the same as software. We hope these ideas will enable data teams to build and maintain their pipelines better and with more fun,“ said Mao.

SQLMesh as a Managed Cloud

SQLMesh delivers real value to organizations and is now enhanced with a managed cloud offering. Tobiko Cloud provides organizations with an enterprise-grade hosted version of SQLMesh.

Tobiko remains committed to providing a free and powerful open source SQLMesh solution and believes that Tobiko Cloud will add tremendous value to organizations looking to simplify and seamlessly scale their data transformation workflows. Tobiko Cloud includes Observer as an observability product that allows you to quickly understand and evaluate what is happening in your pipelines.

SQLMesh understands SQL, Observer understands SQLMesh. With Observer, data teams can understand every version of every pipeline that is running. Because Observer is integrated with SQLMesh, it semantically understands the changes to your SQL.

„If something breaks, we can not only tell you that something is broken, but we can show you what contributed to it (bad code or bad data). We believe Observer will significantly increase the productivity of data teams by enabling them to debug their projects faster and more accurately,“ concludes Mao.

Sales strategy

Tobiko Cloud as a managed cloud is an open source solution with an enterprise flavor. This enterprise flavor is sold under a licensing model. The target users are developers who are approached via their Slack channel with several thousand developers, conference participation and partners like Snowflake and the Databricks developer ecosystem. SQLMesh and SQLGlot are products that are well known to developers in this ecosystem. The vast majority of sales have been direct, with some indirect via software integrations. Customers in Europe already exist in major countries such as UK, Germany and France, found and expanded by SQLMesh and SQLGlot users. The customer profile is mainly large analytics and data warehouse projects.

New round of funding

Tobiko has also just closed a $17.3 million Series A funding round. The investment was led by Theory Ventures, with participation from Unusual Ventures, 20Sales, Fivetran CEO George Fraser, Census CEO Boris Jabes and MotherDuck CEO Jordan Tigani.

Tomasz Tunguz, founder of Theory Ventures, and Wei Lien Dang of Unusual Ventures will join the board as part of the investment, along with Tobiko’s three founders, Iaroslav Zeigerman and brothers Tyson Mao and Toby Mao. This brings Tobiko’s total funding to $21.8 million, including a previously undisclosed $4.5 million seed round led by Unusual Ventures.