Das israelische Start-Up Pliops hat sich der Mission verschrieben, für die massive Beschleunigung der Leistung und drastische Senkung der Infrastrukturkosten für RDBMS-Datenbanken, NoSQL-Datenbanken, Analytik, KI/ML, verteilte Dateisysteme und softwaredefinierte Speicherung zu sorgen.

Israeli startup Pliops is dedicated to the mission of providing massive performance acceleration and dramatic infrastructure cost reduction for RDBMS databases, NoSQL databases, analytics, AI/ML, distributed file systems and software-defined storage.

Uri Beitler, CEO & Gründer von Pliops,  stellte auf der IT-Press Tour die Lösung Pliops Extreme Data Processor (XDP) vor. Zu den Kunden zählen bereits die Top 5 SaaS-Anbieter, die Top 5 Hyperscaler sowie zahlreiche High Performance (HPC) Anwender. Unter den Investoren sind AMD, Nvidia, Intel und Western Digital zu finden. Pliops setzt auf Channel-Partner wie den Distributor TD Synnex.

Laut Beitler besteht die Notwendigkeit, die Architektur des Rechenzentrums zu überdenken, denn es gibt Probleme bei der Skalierbarkeit und Herausforderungen bei breiter SSD-Einführung sowie unausgewogene Server-Architekturen. Die 1000-fache Leistungssteigerung von SSDs der Leistung gegenüber HDDs wurde nicht durch Server-Fortschritte ausgeglichen.

Software, die SSDs verwendet, verstärkt Lese- und Schreibvorgänge um das bis zu 100-fache und gespeicherte Daten um das bis zu 6-fache, was die Speicher- und Netzwerkeffizienz der CPU erdrückt und die Systemzuverlässigkeit beeinträchtigt.

Traditionelles RAID wird aufgrund der enormen Leistungseinbußen nur selten mit NVMe-SSDs verwendet und erfordert kostspielige Workarounds. Das hat Auswirkungen auf Netzwerk, Speicher, SSD, CPUD diese muss für diese zusätzliche Datenübertragung und -verarbeitung überdimensioniert werden. Die Verbesserung der IO-Verstärkung verbraucht CPU-, Cache- oder Speicherplatz.

Pliops Extreme Data Processor (XDP) liefert ultrakonsistente Leistung auch bei vollen Laufwerken. Dafür sorgen eine NVMe-Blockschnittstelle mit erweitertem Thin Provisioning sowie eine KV-Bibliothek API RocksDB, NVMe-KV-kompatibel, SDXI, TP-4091 Speicher- und Analysebeschleunigung. Es gibt leistungsstarken Schutz vor Laufwerksausfällen mit schneller Rebuild Verschlüsselung. Das löst die Probleme auf allen Plattformen und funktioniert mit jedem Server und jeder SSD.

Pliops XDP-AccelDB Data Service ist ein Datenbank-Beschleuniger für SQL-Anwendungen wie MySQL, MariaDB und PostgreSQL. Er ist auch in der Lage, NoSQL-Anwendungen wie MongoDB und Software Defined Storage-Lösungen wie Ceph zu beschleunigen.

Eine der größten Herausforderungen für ein effektives Datenbankmanagement ist die Optimierung der Datenbankleistung.       Beim Einsatz mit der Oracle MySQL Enterprise Edition liefert Pliops XDP eine 3,4-fache TPS-Leistungssteigerung im Vergleich zur MySQL Community Edition – ohne jegliche Änderungen.

Mit Pliops XDP-AccelDB können MySQL-Datenbanken das Beste aus allen Welten erleben – beschleunigte Leistung, Datensicherheit, Skalierbarkeit und einfache Bereitstellung – und gleichzeitig Ihre TCO senken.

Pliops XDP bietet erhebliche Leistungs- und Latenzvorteile für die wirtschaftliche Skalierung von MongoDB-Anwendungen von einigen Terabytes bis zu vielen Petabytes. Das Pliops XDP-RAIDplus und die integrierten Datenkomprimierungsfunktionen ermöglichen es Unternehmen, die Herausforderungen des Datenwachstums effizient zu bewältigen, ohne die Leistung und Zuverlässigkeit zu beeinträchtigen. Diese Lösung bietet auch erhebliche Kosteneinsparungen, da sie die Kosten pro Terabyte senkt und CPU-Ressourcen für die Skalierbarkeit der Benutzer freisetzt.

Pliops XDP-AccelKV Data Service ist win Key-Value Accelerator Lösung für Storage Engines wie RocksDB, WiredTiger und andere Datenbanken. Da es sich um einen nativen Hardware-Schlüsselwertbeschleuniger handelt, bietet er eine um Größenordnungen höhere Leistung.

XDP-Rocks überwindet die Software-Ineffizienzen von RocksDB. RocksDB, einer der wichtigsten Key-Value-Datenspeicher, leidet unter einer hohen Lese-, Schreib- und Speicherplatzverstärkung, was zu einem geringeren Durchsatz, einer höheren Latenzzeit, einer Überbelegung des Speichers und einem höheren SSD-Verschleiß führt. Außerdem kommt es zu Engpässen bei der CPU-Auslastung aufgrund der Sortier-, Zusammenführungs- und Komprimierungsanforderungen der Speicher-Engine.

Pliops XDP-Rocks, eine binärkompatible RocksDB-Bibliothek, verlagert die Software-Operationen auf die Hardware, wodurch die Lese-, Schreib- und Speicherplatzerweiterung auf ein theoretisches Minimum reduziert wird. Durchsatz, Tail-Latenz, SSD-Ausdauer und Skalierbarkeit der Lösung werden deutlich verbessert.

Das führt zu einer 100-fachen Reduzierung der Tail-Latenz, 20-fache Verbesserung des Durchsatzes und 10-fache Reduzierung der Redis KVRocks CEPH Rockset CPU mit XDP-Rocks.

KV-Rocks ist eine beliebte verteilte Open-Source-Schlüsselwert-NoSQL-Datenbank, die RocksDB als Speicher-Engine verwendet und mit dem Redis-Protokoll kompatibel ist. Eine der größten Herausforderungen bei der Skalierung von KV-Rocks ist der CPU-Engpass. Mit XDP-Rocks ist die Skalierbarkeit fast linear bis zu 32 Threads mit einer 30-fachen Reduzierung der Tail-Latenz und einer 10-fachen Verbesserung des Durchsatzes.

Auch die Herausforderungen von Paperspace wurden durch Pliops XDP RAIDplus gelöst: Paperspace wächst rasant, und die Kunden von Paperspace nehmen täglich bis zu 40 TB an Daten auf. Um mit der Nachfrage Schritt zu halten, fügt Paperspace in der Regel mehrere Speicherknoten auf einmal hinzu. Aufgrund von Engpässen in der Lieferkette war das Unternehmen nicht in der Lage, die Broadcom MegaRAID-Karten, die zum Schutz der Kundendaten benötigt werden, rechtzeitig zu erhalten.

Die Leistung. Paperspace war aufgrund von Bandbreitenbeschränkungen durch den Durchsatz von SATA-SSDs in der Leistung eingeschränkt. Sie wollten auf NVMe-Laufwerke umsteigen, um eine bessere Leistung zu erzielen, hatten aber Bedenken hinsichtlich der Speicherdichte und Zuverlässigkeit.

Der dritte Punkt war die Speicherverfügbarkeit. Paperspace war mit wöchentlichen Laufwerksausfällen konfrontiert, die zu einer längeren Wiederherstellungszeit führten. Darüber hinaus kam es während des Wiederherstellungsprozesses der Laufwerke zu erheblichen Leistungseinbußen.

RIKEN SPring-8 war nicht in der Lage, die höhere Auflösung aufgrund der aktuellen Speicherbeschränkungen der erhöhten Datenbandbreite und -größe zu nutzen, ohne dass Bilder verloren gingen. Man suchte nach einer Speicherlösung mit hoher Kapazität und gleichbleibend hoher Schreibgeschwindigkeit, um alle erfassten Bilddaten ohne Bildausfälle zu speichern. Zu den weiteren Anforderungen, die RIKEN SPring-8 erfüllen musste, gehörten ein geringer Stromverbrauch, der Schutz der Daten mit einer hohen Ausdauer der Peta Bytes Written (PBW)-Klasse und die Kompatibilität mit der aktuellen Linux-Version und den verwendeten Bibliotheken.

Schauen wir uns nun das Problem an, das Pliops löst, und einige wichtige Trends im Rechenzentrum: Es ist nicht überraschend, dass die Einführung von Flash im Rechenzentrum immer schneller voranschreitet. NVMe-SSDs sind leicht 1000-mal schneller als Festplattenlaufwerke – aber sie werden nicht voll ausgenutzt.

Ein Grund dafür ist die Verlangsamung von Moore’s Law – die CPU-Leistung wird sich alle 20 Jahre verdoppeln, im Vergleich zu 2 Jahren in der Vergangenheit. Das Hinzufügen weiterer Kerne stößt an seine Grenzen, da sie sich denselben Speicher und dieselbe E/A teilen, so dass wir an einem Punkt abnehmender Rentabilität angelangt sind.

Die Lösung besteht darin, mehr Server hinzuzufügen, mehr Verarbeitungsleistung pro Speichereinheit. So wurde es schon immer gemacht… aber es ist teuer und nicht gut für den Planeten. Die Pliops Kunden sagen laut Beitler, dass dies heute ein Problem ist, und es wird immer schlimmer!

Er siejt große Herausforderungen für die nächste Welle der SSD-Einführung. Erstens: Die Serverarchitektur ist nicht ausgewogen. Das Hinzufügen von mehr SSDs, die 1000 Mal schneller sind als Festplatten, wird vom Rest des Systems nicht aufgefangen.

Zweitens: Die Software-Architektur geht mit diesem Problem um, indem sie Abkürzungen nimmt. Speicher-Engines, die von vielen Anwendungen zum Speichern von Daten auf Laufwerken verwendet werden, verstärken die Daten, was die CPU belastet.

Schreibverstärker, Leseverstärker und Speicherplatzverstärker können leicht das 50- bis 100-fache des Bedarfs betragen – was den Speicher überfordert und die Lebensdauer des Flash-Speichers verkürzt.

Der dritte Punkt ist die Systemzuverlässigkeit. Man hört nie, dass RAID 5 mit Flash verwendet wird – es ist einfach zu langsam. Wir sehen Kunden, die RAID 0, RAID 10 oder andere Methoden einsetzen, aber sie alle haben große Nachteile in Bezug auf Kosten, Leistung und Datensicherheit.

Beitler erklärt: „Werfen wir einen Blick unter die Haube, um zu sehen, wie die Magie passiert. Aus der Sicht des Hosts haben wir zwei Schnittstellen für den Zugriff auf XDP. Die erste ist eine Standard-Blockschnittstelle, die am weitesten verbreitet ist. Wir sehen aus wie ein beliebiges Laufwerk, ein beliebiges Speichergerät, und wir tauchen einfach auf.

Wir haben auch eine Key-Value Library API. Sie ist mit RocksDB kompatibel und es gibt einen neuen NVMe-KV-Standard, den wir ebenfalls unterstützen. Dies ist der effizienteste Weg, um auf XDP zuzugreifen und eine noch höhere Leistung zu erzielen. Die E/As kommen dann in XDP, es ist alles das gleiche System

Wir behandeln Blöcke grundsätzlich als eine besondere Art von Schlüssel-Wert-Paaren, so dass alles auf die gleiche Weise durch unsere Engine läuft. Der erste Schritt ist die Komprimierung mit einer sehr schnellen, sehr effizienten hardwarebeschleunigten Engine.

 

Als Nächstes kommt unsere hardwarebasierte Key-Value-Speicher-Engine – man kann sie sich als RocksDB auf einem Chip vorstellen. Hier passiert die wirklich harte Arbeit und die Magie! Wenn Sie einen Block komprimieren, erhalten Sie ein Objekt beliebiger Größe, das daraus hervorgeht.

Flash hat natürlich feste Blockgrößen, also wie passt man sie an? Man führt sie zusammen, packt alles zusammen, sortiert und indiziert sie, um sie schnell abrufen zu können, und sammelt dann Müll. Bei Aktualisierungen, Löschungen usw. muss man alles wieder auspacken und den ganzen Prozess von vorne beginnen.

Dies ist der Grund für Schreib-, Lese- und Speicherplatzbedarf.  Was die CPU betrifft, so geht der Host Kompromisse ein, um nicht die gesamte Verarbeitungsleistung zu verbrauchen. Wir haben extrem effiziente Algorithmen und Datenstrukturen implementiert, die enorm rechenintensiv sind. Um Ihnen ein Beispiel zu geben: XDP hat die Leistung von 100 Xeon Gold Cores von RocksDB – das ist wirklich unglaublich.

Das Ergebnis ist die Drive Failure Protection, bei der wir die Daten auf SSDs verwalten, so dass Sie bei einem Ausfall eines Laufwerks schnell wiederhergestellt werden können, ohne die Nachteile eines herkömmlichen RAID-Systems in Kauf nehmen zu müssen. Wir verwenden keine Hot Spares und die Wiederherstellung erfolgt automatisch.

Schauen wir uns Pliops Full Performance XDP-RAIDplus etwas genauer an. Wie ich bereits erwähnt habe, wird RAIDplus über eine Hardware Accelerated Offload Engine bereitgestellt. Sie erhalten volle Betriebszeit und volle Leistung mit Schutz für den Ausfall mehrerer einzelner Laufwerke.

XDP-RAIDplus verwendet Virtual Hot Capacity (VHC), um vorhandenen Speicherplatz für den Fall eines Laufwerksausfalls zu reservieren. Alle Daten und Metadaten sind durch integriertes NVRAM gegen plötzliche Stromausfälle geschützt.

XDP bietet außerdem eine schnelle Wiederherstellung mit einem sehr schnellen Rebuild, da nur die gespeicherten Daten und nicht das gesamte Laufwerk wiederhergestellt werden. Die Wiederherstellung erfolgt auf VHC und wird nach einem Stromausfall automatisch fortgesetzt.“

Uri Beitler, CEO & Founder of Pliops, presented the Pliops Extreme Data Processor (XDP) solution at the IT Press Tour. Customers already include the top 5 SaaS providers, top 5 hyperscalers, and numerous high performance (HPC) users. Investors include AMD, Nvidia, Intel and Western Digital. Pliops relies on channel partners such as distributor TD Synnex.

According to Beitler, there is a need to rethink data center architecture because of scalability issues and challenges with broad SSD adoption and unbalanced server architectures. SSDs‘ 1000x increase in performance over HDDs has not been matched by server advances.

Software using SSDs amplifies reads and writes by up to 100x and stored data by up to 6x, crushing CPU storage and network efficiency and impacting system reliability.

Traditional RAID is rarely used with NVMe SSDs due to the huge performance degradation and requires costly workarounds. This impacts the network, storage, SSD, CPUD this must be oversized for this additional data transfer and processing. Improving IO amplification consumes CPU, cache or memory space.

Pliop’s Extreme Data Processor (XDP) delivers ultra-consistent performance even when drives are full. This is ensured by an NVMe block interface with advanced thin provisioning and a KV library API RocksDB, NVMe-KV compatible, SDXI, TP-4091 memory and analytics acceleration. It gives powerful protection against drive failures with fast rebuild encryption. This solves the problems on all platforms and works with any server and SSD.

Pliop’s XDP-AccelDB Data Service is a database accelerator for SQL applications such as MySQL, MariaDB and PostgreSQL. It is also capable of accelerating NoSQL applications like MongoDB and Software Defined Storage solutions like Ceph.

One of the biggest challenges to effective database management is optimizing database performance.            When used with Oracle MySQL Enterprise Edition, Pliops XDP delivers a 3.4x TPS performance increase over MySQL Community Edition – without any changes.

With Pliops XDP-AccelDB, MySQL databases can experience the best of all worlds – accelerated performance, data protection, scalability and ease of deployment – while lowering your TCO.

 

Pliops XDP provides significant performance and latency benefits for economically scaling MongoDB applications from a few terabytes to many petabytes. The Pliops XDP-RAIDplus and integrated data compression capabilities enable organizations to efficiently address the challenges of data growth without compromising performance and reliability. This solution also provides significant cost savings by lowering the cost per terabyte and freeing up CPU resources for user scalability.

Pliop’s XDP-AccelKV Data Service is win key-value accelerator solution for storage engines such as RocksDB, WiredTiger and other databases. Because it is a native hardware key-value accelerator, it offers orders of magnitude higher performance.

XDP-Rocks overcomes the software inefficiencies of RocksDB. RocksDB, one of the most important key-value data stores, suffers from high read, write, and space amplification, resulting in lower throughput, higher latency, memory overcommitment, and higher SSD wear. It also creates CPU utilization bottlenecks due to the sorting, merging and compression requirements of the storage engine.

Pliop’s XDP-Rocks, a binary-compatible RocksDB library, offloads software operations to hardware, reducing read, write, and storage expansion to a theoretical minimum. Throughput, tail latency, SSD endurance and scalability of the solution are significantly improved.

This results in a 100x reduction in tail latency, 20x improvement in throughput and 10x reduction in Redis KVRocks CEPH Rockset CPU with XDP-Rocks.

KV-Rocks is a popular open source distributed key-value NoSQL database that uses RocksDB as its storage engine and is compatible with the Redis protocol. One of the biggest challenges in scaling KV-Rocks is the CPU bottleneck. With XDP-Rocks, scalability is nearly linear up to 32 threads with a 30x reduction in tail latency and a 10x improvement in throughput.

Pliop’s XDP RAIDplus also solved Paperspace’s challenges: Paperspace is growing rapidly, and Paperspace’s customers ingest up to 40 TB of data per day. To keep up with demand, Paperspace typically adds multiple storage nodes at once. Due to supply chain bottlenecks, the company was unable to receive the Broadcom MegaRAID cards needed to protect customer data in a timely manner.

 

Performance. Paperspace was limited in performance by the throughput of SATA SSDs due to bandwidth constraints. They wanted to move to NVMe drives for better performance, but had concerns about storage density and reliability.

The third issue was storage availability. Paperspace faced weekly drive failures that resulted in longer recovery times. In addition, there was significant performance degradation during the drive recovery process.

RIKEN SPring-8 was unable to utilize the higher resolution due to the current storage limitations of increased data bandwidth and size without losing images. They were looking for a high-capacity storage solution with consistently high write speeds to store all captured image data without image loss. Other requirements that RIKEN SPring-8 had to meet included low power consumption, protection of data with high Peta Bytes Written (PBW) class endurance, and compatibility with the current Linux version and libraries in use.

Now let’s look at the problem Pliops solves and some key trends in the data center: not surprisingly, the adoption of flash in the data center is accelerating. NVMe SSDs are easily 1000 times faster than hard disk drives – but they are underutilized.

One reason is Moore’s Law slowdown – CPU performance will double every 20 years, compared to 2 years in the past. Adding more cores reaches its limits as they share the same memory and I/O, so we are at a point of diminishing returns.

The solution is to add more servers, more processing power per unit of memory. That’s the way it’s always been done… But it’s expensive and not good for the planet. Pliops customers say this is a problem today, according to Beitler, and it’s getting worse!

He sees big challenges for the next wave of SSD adoption. First, the server architecture is not balanced. Adding more SSDs, which are 1000 times faster than hard drives, is not absorbed by the rest of the system.

Second, the software architecture deals with this problem by taking shortcuts. Storage engines, used by many applications to store data on drives, amplify the data, which stresses the CPU.

 

Write amplifiers, read amplifiers, and storage amplifiers can easily be 50 to 100 times what is needed – overloading the memory and shortening the life of the flash memory.

The third issue is system reliability. You never hear of RAID 5 being used with flash – it’s just too slow. We see customers using RAID 0, RAID 10 or other methods, but they all have major drawbacks in terms of cost, performance and data reliability.

Beitler explains, „Let’s take a look under the hood to see how the magic happens. From the host’s perspective, we have two interfaces for accessing XDP. The first is a standard block interface, which is the most common. We look like any drive, any storage device, and we just pop up.

We also have a key-value library API. It’s compatible with RocksDB and there’s a new NVMe KV standard that we support as well. This is the most efficient way to access XDP and get even higher performance. The I/Os then come into XDP, it’s all the same system

We basically treat blocks as a special kind of key-value pairs, so everything goes through our engine in the same way. The first step is compression with a very fast, very efficient hardware-accelerated engine.

 

Next comes our hardware-based key-value storage engine – you can think of it as RocksDB on a chip. This is where the real hard work and magic happens! When you compress a block, you get an object of arbitrary size coming out of it.

Flash, of course, has fixed block sizes, so how do you fit them? You merge them, pack everything together, sort and index them for quick retrieval, and then garbage collect. For updates, deletions, etc., you have to unpack everything again and start the whole process over.

This is the reason for write, read, and memory consumption.  As far as the CPU is concerned, the host makes compromises so as not to consume all the processing power. We have implemented extremely efficient algorithms and data structures that are enormously computationally intensive. To give you an example: XDP has the performance of 100 Xeon Gold Cores from RocksDB – that’s really incredible.

The result is Drive Failure Protection, where we manage data on SSDs so that if a drive fails, you can recover quickly without the drawbacks of a traditional RAID system. We don’t use hot spares and recovery is automatic.

Let’s take a closer look at Pliop’s Full Performance XDP-RAIDplus. As I mentioned earlier, RAIDplus is delivered via a hardware accelerated offload engine. You get full uptime and full performance with protection for multiple individual drive failures.

XDP-RAIDplus uses Virtual Hot Capacity (VHC) to reserve existing storage space in the event of a drive failure. All data and metadata is protected against sudden power failures with built-in NVRAM.

XDP also provides fast recovery with a very fast rebuild as only the stored data is recovered and not the entire drive. Recovery is on VHC and resumes automatically after a power failure.“

 

Von Carolina Heyder

Carolina Heyder ist stellvertretende Chefredakteurin Security Storage und Channel Germany sowie freiberufliche IT-Fachjournalistin und Moderatorin. Sie verfügt über langjährige Erfahrung in renommierten Verlagshäusern wie WEKA-Fachmedien, Springer und Aspencore. Ob Text fürs Web oder Print, Audio oder Video. Am Laptop, vor dem Mikrofon oder der Kamera. Ob in Deutsch, Englisch oder Spanisch, Carolina Heyder ist in der IT-Welt Zuhause. Ihre Themenschwerpunkte sind Cybersecurity, Digitale Transformation, Nachhaltigkeit, Storage u. a. Carolina Heyder is Deputy Editor-in-Chief of Security Storage and Channel Germany as well as a freelance IT journalist and presenter. She has many years of experience at renowned publishing houses such as WEKA-Fachmedien, Springer and Aspencore. Whether text for the web or print, audio or video. On the laptop, in front of the microphone or the camera. Whether in German, English or Spanish, Carolina Heyder is at home in the IT world. Her main topics are cybersecurity, digital transformation, sustainability, storage and others. Kontakt – Contact via Mail: carolina.heyder@security-storage-und-channel-germany.com

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

WordPress Cookie Hinweis von Real Cookie Banner