Quickwit will mit seiner schnellen Suche auf Object Storage Konkurrenten wie Splunk oder Elastic Search verdrängen. | Quickwit aims to displace competitors such as Splunk or Elastic Search with its fast search on object storage. |
|---|---|
| Auf der IT Press Tour stellte François Massot, Mitgründer des vor drei Jahren gegründeten französischen Start-ups Quickwit mit Sitz in San Francisco, die OSS Cloud Native Search Engine for Logs and Traces Quickwit 0.8 vor. Die Lösung bietet Indizierung und Suche im Petabyte-Bereich. Das Problem, das Quickwit löst, sind die hohen Infrastrukturkosten und die Komplexität bei der Suche nach Speicherdaten. Die Indizierung ist langsam und unstrukturierte Log-Daten verursachen Probleme. Diese Probleme nehmen mit der Datenexplosion zu. Technologie- und Cybersicherheitsunternehmen sind von diesen Problemen besonders betroffen. Lösungen wie Splunk oder Elastic helfen hier nicht wirklich weiter. Die Vorhaltezeiten sind zu kurz, Abfragen dauern zu lange und der TCO ist nicht gewährleistet. Quickwit hingegen bietet eine schnelle und kostengünstige OSS-Suchmaschine für Logs. Diese basiert auf der Programmiersprache Rust. Sie ist stateless und skaliert schnell bis in den Petabyte-Bereich. Laut Firmenangaben ist sie zehnmal schneller als konkurrierende Angebote. In einer Kundenreferenz (Kryptowährung) konnte auf Object Storage ein Datendurchsatz von 13,4 GB pro Sekunde erreicht werden. Die Anzahl der Knoten betrug bis zu 200, die Indizierungsgeschwindigkeit (bis zu 1 PB/Tag oder 13 GiB/s (mehr als 14 Millionen Dokumente pro Sekunde)), die Anzahl der Indizes (bis zu 3.000) und die Gesamtmenge der durchsuchbaren Daten betrug 40 PB an Daten. Dabei entdeckte Quickwit eine Reihe unerwarteter Engpässe und Ineffizienzen, die nach und nach behoben wurden. Darüber hinaus wurde das Grafana-Plugin stark verbessert, um eine nahtlose Suche in Grafana Explore und Dashboards zu ermöglichen. Es bietet Funktionen wie Autovervollständigung, einen Editor für kontextbezogene Abfragen und Unterstützung für Ad-hoc-Filter. Die neuen Plugins benötigen Quickwit 0.8. Viele Kunden sind bereits von Elastic Search oder Splunk zu Quickwit gewechselt. Die Zufriedenheit der Kunden ist sehr hoch. Selbst Darknet-Inhalte werden mit Quickwit erfolgreich durchsucht. Der Indizierungsprozess erstellt aus JSON-Dokumenten gesplittete Dateien und lädt diese dann auf Object Storage hoch. Damit setzt Quickwit einen neuen Standard für effizientes Data Retrieval. Die Kafka API ist nativ integriert. Das Geschäftsmodell ist zunächst Open Source. Im nächsten Jahr will Quickwit auch eine kommerzielle Lizenz für Unternehmen anbieten und auf Open Core mit einigen lizenzpflichtigen Komponenten für Unternehmenskunden umstellen. Die Vertriebsstrategie besteht aus Direktvertrieb und Partnerschaften mit Technologieunternehmen. Open Source ist ein zentrales Element der Unternehmensstrategie. Über 200 Kunden nutzen die Lösung. | At the IT Press Tour, François Massot, co-founder of the three-year-old French start-up Quickwit based in San Francisco, presented the OSS Cloud Native Search Engine for Logs and Traces Quickwit 0.8. The solution provides indexing and search at petabyte scale. The problem Quickwit solves is the high infrastructure cost and complexity of searching storage data. Indexing is slow and unstructured log data causes problems. These problems are growing as data explodes. Technology and cybersecurity companies are particularly affected by these problems. Solutions like Splunk or Elastic don’t really help. Retention times are too short, queries take too long, and TCO is not guaranteed. Quickwit, on the other hand, provides a fast and cost-effective OSS log search engine. It is based on the Rust programming language. It is stateless and scales quickly into the petabyte range. According to the company, it is ten times faster than competitive offerings.
A customer reference (cryptocurrency) achieved a data throughput of 13.4 GB per second on Object Storage. The number of nodes was up to 200, the indexing speed (up to 1 PB/day or 13 GiB/s (more than 14 million documents per second)), the number of indexes (up to 3,000), and the total amount of searchable data was 40 PB of data. Quickwit discovered a number of unexpected bottlenecks and inefficiencies, which were gradually resolved. In addition, the Grafana plugin has been greatly enhanced to provide seamless search across Grafana Explore and Dashboards. It offers features such as autocomplete, a contextual query editor, and support for ad hoc filters. The new plugins require Quickwit 0.8. Many customers have already migrated from Elastic Search or Splunk to Quickwit. Customer satisfaction is high. Even darknet content is successfully searched with Quickwit. The indexing process creates split files from JSON documents and then uploads them to object storage. Quickwit sets a new standard for efficient data retrieval. The Kafka API is integrated natively. The business model is open source for now. Next year, Quickwit plans to offer a commercial license for enterprises and move to Open Core with some components for enterprise customers that require a license.
The sales strategy consists of direct sales and partnerships with technology companies. Open source is a central element of the company’s strategy. More than 200 customers use the solution. |
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de