Datashelter: Indexbasierte Datensicherung – Datashelter: Index-based data protection

Datashelter wurde 2023 gegründet und hat bereits 50 Kunden. Ihr Ziel ist es, professionelle und zuverlässige Backups anzubieten, die einfach zu bedienen sind. Das Produkt erstellt automatisch Backups von Datenbanken und Daten. Die Backups werden auf Object Storage von OVH gespeichert. Zurzeit ist das Angebot nur in Frankreich verfügbar, aber Paletou will in Kürze mit OVH Deutschland sprechen.

Die Preise beginnen je nach Speicherkapazität bei 7 Euro pro Monat. Kundinnen und Kunden zahlen nutzungsabhängig mit einer kostenlosen Testphase von 30 Tagen.

Unter der Haube  

Snaper ist das CLI-Tool von Datashelter. Nach einmaliger Konfiguration läuft alles automatisch. Ein Webinterface steuert die Sicherung der Datenbanken und Daten. Im Moment funktioniert das nur mit der OVH Cloud, aber vielleicht bald auch mit anderen Providern. „Wir sind kompatibel“, sagt Maledou. „Wir haben unser eigenes Gateway entwickelt und es ist mandantenfähig. Für einen größeren Kunden haben wir eine dedizierte Infrastruktur aufgebaut.“

Die indexbasierte Sicherung folgt einem dreistufigen Prozess:

– Indizierung der Metadaten: Das Backup-Tool scannt die Metadaten der zu sichernden Dateien oder Datenblöcke (Name, Größe, Änderungsdatum etc.) und fasst sie in einer Indexdatei zusammen. Bei Datashelter z.B. ist dieser Index eine CSV-Datei, die Schlüsselinformationen wie Dateipfade, Größe, Änderungsdatum und optional eine Prüfsumme enthält.

– Vergleich mit dem vorherigen Index: Wenn eine neue Sicherung durchgeführt wird, wird dieser Index mit dem zuvor erstellten Index verglichen. Auf diese Weise können nur die Änderungen identifiziert werden (neue Dateien, geänderte Dateien).

– Sicherung der Änderungen: Sobald die Unterschiede identifiziert sind, werden nur die neuen oder geänderten Dateien oder Datenblöcke an den Speicher gesendet, wodurch die übertragene und gespeicherte Datenmenge erheblich reduziert wird.

Dieses Verfahren ähnelt dem inkrementellen Verfahren, ist aber wesentlich optimierter, da es direkt auf Datei- oder sogar Datenblockebene arbeitet. Dies ermöglicht ein besseres Ressourcenmanagement, insbesondere in Umgebungen mit großen Datenmengen oder häufigen Sicherungen.

Vorteile gegenüber traditionellen Methoden

Wenn Sie z.B. 1 TB Daten haben, benötigt ein Voll-Backup für jede Sicherung entsprechend viel Speicherplatz. Bei einer indexbasierten Sicherung werden dagegen nur wenige Gigabyte pro Iteration gesichert, da nur die geänderten Blöcke übertragen werden. Dies reduziert nicht nur den Speicherplatzbedarf, sondern auch die Zeit, die für jede Sicherung benötigt wird.

Es handelt sich also um eine Lösung, die die Vorteile der drei traditionellen Methoden vereint, ohne deren Nachteile zu übernehmen.

Vorteile

Geringer Speicherplatzbedarf: Eine zehnmalige Sicherung von 1 TB benötigt nur etwas mehr als 1 TB Speicherplatz.

Schnellere Backups: Es werden nur neue oder geänderte Dateien übertragen.

Vereinfachte Wiederherstellung: Sie müssen nur einen Index durchsuchen und die Daten, auf die er verweist, wiederherstellen.

Verarbeitet Dateilöschungen: Im Gegensatz zu inkrementellen Backups können Sie ein Dateisystem so wiederherstellen, wie es war, ohne Dateien, die vor dem Backup gelöscht wurden, wiederherstellen zu müssen.

Zusammenfassend lässt sich sagen, dass die indexbasierte Datensicherung eine direkte Antwort auf die Anforderungen des modernen Datenmanagements ist. Durch die Indizierung von Metadaten und die Verwendung eines blockbasierten Ansatzes wird die Ressourcenverwaltung optimiert, Backup- und Wiederherstellungszeiten werden verkürzt und die Integration in Cloud- und Objektspeicherumgebungen ist perfekt.

Moderne Backup-Software wie restic (Open Source), Synology HyperBackup (proprietär) und snaper (Datashelter) zeigen, dass dieser Ansatz allmählich zum Standard wird und sowohl Effizienz als auch Flexibilität bei der Datensicherung bietet.

Datashelter was founded in 2023 and already has 50 customers. Their goal is to provide professional and reliable backups that are easy to use. The product automatically creates backups of databases and data. The backups are stored on OVH object storage. The offer is currently only available in France, but Paletou plans to talk to OVH Germany soon.

Prices start at 7 euros per month, depending on storage capacity. Customers pay based on usage, with a 30-day free trial.

Under the hood  

Snaper is Datashelter’s CLI tool. After a one-time configuration, everything runs automatically. A web interface controls the backup of databases and data. For now, it only works with the OVH cloud, but it may soon work with other providers as well. „We are compatible,“ says Maledou. „We have developed our own gateway and it is multi-tenant. We have built a dedicated infrastructure for a larger customer.“

Index-based backup follows a three-step process:

– Indexing the metadata: The backup tool scans the metadata of the files or data blocks to be backed up (name, size, modification date, etc.) and summarizes it in an index file. With Datashelter, for example, this index is a CSV file containing key information such as file paths, size, modification date and optionally a checksum.

– Compare with the previous index: When a new backup is performed, this index is compared to the previously created index. In this way, only the changes (new files, modified files) can be identified.

– Save the changes: Once the differences are identified, only the new or changed files or blocks are sent to storage, significantly reducing the amount of data transferred and stored.

This process is similar to the incremental process, but is much more streamlined because it works directly at the file or even block level. This allows for better resource management, especially in environments with large amounts of data or frequent backups.

Advantages over conventional methods

For example, if you have 1TB of data, a full backup requires a corresponding amount of disk space for each backup. With index-based backup, only a few gigabytes are backed up per iteration because only changed blocks are transferred. This reduces not only the amount of storage space required, but also the time required for each backup.

It is therefore a solution that combines the advantages of the three traditional methods without adopting their disadvantages.

The advantages are

Low storage requirements: A tenfold backup of 1TB requires just over 1TB of storage.

Faster backups: Only new or modified files are transferred.

Simplified recovery: Simply search an index and restore the data it references.

Handles file deletions: Unlike incremental backups, you can recover a file system as it was without having to recover files that were deleted before the backup.

In summary, index-based data protection is a direct response to the needs of modern data management. By indexing metadata and using a block-based approach, resource management is optimized, backup and restore times are reduced, and integration with cloud and object storage environments is perfect.

Modern backup software such as restic (open source), Synology HyperBackup (proprietary), and snaper (Datashelter) show that this approach is gradually becoming the standard, offering both efficiency and flexibility in data protection.