Storadera Variable Block Size technology

Für Reseller ist Multitenancy integriert. Sie profitieren von einem zusätzlichen Volumenrabatt. Das hyperkonvergente System spart Kosten, da keine dedizierten Server für unterschiedliche Aufgaben benötigt werden. Jeder Server ist mit dem Internet und einem JBOD (Just a Bunch of Disks) verbunden. Alle Softwaredienste laufen auf allen Servern. Es gibt keine Mindestdateigröße, keine Zeitstrafe für das Löschen von Dateien und kein Datenlimit. Kannisto erklärt: „Wir haben unsere eigene Speichersoftware entwickelt, weil wir unsere Ziele ohne Kompromisse erreichen wollten: Preis, Leistung, Sicherheit und Flexibilität.

Das Unternehmen betreibt Rechenzentren in Estland und den Niederlanden und plant für 2025 die Eröffnung eines neuen Rechenzentrums in Deutschland.

Storadera bietet die Technologie der variablen Blockgröße an. Die Software ermöglicht es Festplatten, die Arbeit von SSDs mit kleinen Blöcken bei geringer Auslastung und großen Blöcken bei hoher Auslastung zu übernehmen.

Das Ergebnis sind gleichmäßige Datenströme, die einfach und schnell auf HDDs geschrieben werden können und eine garantierte Latenzzeit haben

HDD vs. SSD

Normalerweise werden (NVMe-)SSDs aufgrund ihrer viel höheren IOPS als besonders leistungsstark angesehen. IOPS bedeutet Eingabe-/Ausgabeoperationen pro Sekunde. SSDs haben einen 1400-fachen IOPS-Vorteil. Warum also Festplatten wählen? Es gibt jedoch einige offensichtliche Vorteile von Festplatten gegenüber SSDs:

1. Der Preisunterschied kann leicht das 10-fache zugunsten von Festplatten betragen. Mit 10-mal günstigerer Hardware einen ausreichend schnellen Service zu bieten, klingt wie Zauberei. Storadera bietet einen der besten Preise in der Branche.
2. Preisgünstige SSDs haben immer noch eine viel geringere Kapazität und benötigen mehr Anschlüsse. Dies erfordert eine größere und teurere Serverinfrastruktur um die Laufwerke herum.
3. SSDs haben eine begrenzte Anzahl von geschriebenen Terabytes (TBW). Danach werden sie schreibgeschützt. Festplatten haben keine so strengen Beschränkungen.

Wie typische Speichersysteme mit Blöcken arbeiten

Typische Speichersysteme unterteilen die eingehenden Daten in Blöcke. Diese können sehr klein sein, von 4 KB bis zu einer Größe von 1 MB bis 32 MB. Es gibt viele verschiedene Varianten, wie Speichersysteme aufgebaut sind und wie die verschiedenen Komponenten benannt werden.

Oft gibt es jedoch eine Dateneinheit mit einer festen Größe, die auf die Festplatte geschrieben wird. Dies ist eine grobe Vereinfachung, aber nehmen wir einmal eine Festplatte mit maximal 500 IOPS. Bei zufälligen Schreibvorgängen können die IOPS bis auf 100 sinken. Wenn wir nun davon ausgehen, dass das Schreiben eines Blocks 20 IOPS benötigt, dann können wir 100 / 20 = 5 Blöcke pro Sekunde schreiben.

Bei einer Blockgröße von 1 MB bedeutet dies eine Schreibgeschwindigkeit von 5 MB/s. Das ist nicht viel, wenn man bedenkt, dass Festplatten sequentielle Schreibgeschwindigkeiten von fast 300 MB/s erreichen können.

Einige Speichersysteme schreiben Client-Dateien direkt auf die Festplatte, ohne sie zu partitionieren oder in Blöcke zu gruppieren. In diesem Fall sind kleine Dateien (z. B. weniger als 100 KB) sehr problematisch, da sie die gesamte IOPS verbrauchen.

Darüber hinaus können andere Faktoren wie Löschkodierung und andere Gründe für den Overhead eine Rolle spielen.  Selbst 5 MB/s ist für solche Systeme noch ein guter Wert, viele Speichersysteme erreichen weniger als 1 MB/s, wenn die geschriebenen Chunks sehr klein sind. Eine so geringe Geschwindigkeit ist natürlich ein Problem.

Die variable Blockgrößentechnologie von Storadera ist die Lösung für die IOPS-Beschränkungen von Festplatten, da die Schreibgeschwindigkeit und die IOPS von Festplatten sehr begrenzt sind.

Storadera erhöht die Blockgröße, um einen besseren Gesamtdurchsatz zu erzielen. Dies würde das Problem definitiv lösen, hat aber den Nachteil einer längeren Latenzzeit.

Wenn man z.B. einen Block von 100 MB schreiben will, muss man warten, bis die Clients diese 100 MB gesendet haben, bevor man mit dem Schreiben beginnen kann.

Dies führt zu höheren Latenzzeiten, insbesondere in Zeiten mit weniger eingehenden Datenverkehr. Zur Erinnerung: Wir messen in Millisekunden. Eine große Blockgröße zu einer Zeit mit wenig Datenverkehr kann leicht 1000 Millisekunden (1 Sekunde) oder mehr für die Verarbeitung einer einzigen Upload-Anfrage für den Kunden bedeuten. Daher ist dies keine akzeptable Lösung.

Es gibt jedoch eine sehr einfache Lösung, um eine kleine Blockgröße zu verwenden, wenn weniger Daten empfangen werden, und eine größere Blockgröße, wenn mehr Daten empfangen werden.

Multitenancy is built in for resellers. They can benefit from an extra % discount on volume. The hyperconverged setup saves costs by avoiding specialized servers for different tasks. Each server is connected to the Internet and to a JBOD (Just a Bunch of Disks). All software services run on all servers. There is no minimum file size, no time penalty for deleting files, and no upper data limit. Kannisto explains: „We developed our own storage software because we wanted to achieve our goals without compromising: price, performance, security, flexibility“.

The company operates data centers in Estonia and the Netherlands, and plans to open a new data center in Germany in 2025.

Storadera offers variable block size technology. The software allows HDDs to do the work of SSDs with small blocks at low load times and large blocks at high load times. The result is steady streams of data that are easy to write fast to HDD and have latency guarantees- HDD vs. SSD Usually, (NVMe) SSDs are considered to deliver great performance due to much higher IOPS.

IOPS means input/output operations per second. SSDs have 1400x IOPS advantage. So why choose hard disks? However, there are some obvious advantages of hard disks over SSDs:

1. The price difference can easily be over 10x in favor of hard drives. To provide fast enough service on 10x less expensive hardware, it sounds like magic. Storadera has one of the best prices in the industry.
2. Inexpensive SSDs are still much smaller in capacity and require more connectors. This requires a larger and more expensive server infrastructure around the drives.
3. SSDs have a limited number of terabytes written (TBW). After that, they become read-only. Hard drives don’t have such severe limitations.

How typical storage systems work with blocks

Typical storage systems divide incoming data into blocks. They can be very small, from 4KB to larger, from 1MB to 32MB in size. There are many different flavors of how storage systems are built and how different components are named.

However, there is often a unit of data of a fixed size that is written to disk. This is an oversimplification, but let’s consider a hard drive with a maximum of 500 IOPS. On random writes the IOPS can go down to 100. Now, if we consider that writing a block takes 20 IOPS, then we can have 100 / 20 = 5 block writes per second.

If the block size is 1MB, this means writes at 5MB/s. Not a huge number considering that hard drives can reach sequential write speeds of nearly 300 MB/s.

Some storage systems write client files directly to disk without partitioning or collecting them into blocks. In this case, small files (say less than 100KB) are very problematic because they consume all the IOPS.

In addition, there may be other factors like erasure coding and other reasons for overhead.  Even 5MB/s is still a good number for such systems, many storage systems go below 1MB/s when the written chunk is very small. Such a low speed is obviously a problem.

Storadera’s variable block size technology is the solution to hard disk drive IOPS limitations because writes and IOPS are very limited on hard disks.

Storadera increases the block size to get better overall throughput. This would definitely solve this one thing, but it has the downside of longer latency.

For example, if you want to write a 100MB block, you have to wait for customers to send you that 100MB and then you can start writing it.

This results in higher latency, especially at times of lower incoming traffic. For background, we measure things in milliseconds. A huge block size at a low incoming traffic moment would easily cause an extra 1000 milliseconds (1 second) or more in processing a single upload request for the customer. So it’s not an acceptable solution.

But there is a really simple solution to use small block size when less data is coming in and larger block size when more data is coming in.

Storadera’s Variable Block Size technology helps overcome the IOPS limitation by changing the block size based on the current volume of incoming data. It balances block size with incoming bandwidth to always keep latency low and avoid being limited by disk IOPS. This optimization allows us to continue to offer low-cost, high-performance S3-compliant cloud storage.

Storadera Variable Block Size technology is available in its cloud locations.