Juicedata JuiceFS

Im Januar 2021 wurde die JuiceFS Community Edition als Open Source veröffentlicht. Die Nutzer sind in mehr als 50 Ländern zu finden. Derzeit hat das JuiceFS Repository 10.000 Sterne auf GitHub erreicht, mit wachsenden Diskussionen und Anwendungsfällen in verschiedenen Branchen.

Das Team von Juicedata besteht aus führenden Architekten, Ingenieuren und Lösungsexperten mit langjähriger Erfahrung im Bereich verteilter Systeme. Sie haben zuvor für renommierte High-Tech-Unternehmen wie Meta, Databricks, Alibaba, NetEase, Xiaohongshu und Douban gearbeitet. Bei seiner Gründung wurde Juicedata von China Growth Capital und Foothill Ventures mitfinanziert.

Juice FS nimmt sich der Probleme und Herausforderungen an:

– S3 ist bei Webdiensten sehr beliebt, aber nur begrenzt kompatibel mit datenintensiven Workloads.

– Kein Dateisystem wurde für die Cloud entwickelt, die meisten sind Bare Metal, nicht elastisch und viel teurer als S3.

– Der Durchsatz ist in der Regel an die Datenkapazität gebunden und kann nicht unabhängig skaliert werden.

– Die Verwaltung von LOSF (viele kleine Dateien) ist eine ständige Herausforderung für die Dateispeicherung, insbesondere für KI.

– Der Datenzugriff in Multi-Cloud- und Hybrid-Cloud-Umgebungen ist eine neue Anforderung.

JuiceFS-Anwendungsfälle sind:

Speicherung unstrukturierter Daten in der KI

– Generative KI

– Autonomes Fahren

– Quantitativer Handel

– Biotechnologie

– Datensee

– HDFS Alternative, S3 Erweiterung

– Integriert mit allen Komponenten des Big Data Ökosystems

– Persistentes Kubernetes Volumen

Die aktuelle Version von JuiceFS ist die 2024 Community Edition v1.2 LTS. JuiceFS v1.2-beta1 wird mit signifikanten Verbesserungen der Benutzerfreundlichkeit, Bugfixes und drei neuen Features veröffentlicht:

– Verbesserte Gateway-Funktionen: Einführung von Identitäts- und Zugriffsmanagement (IAM) und Ereignisbenachrichtigungen, um Anwendern sicherere, flexiblere und automatisierte Datenverwaltungs- und Überwachungsfunktionen zu bieten, die für Mehrbenutzerumgebungen und komplexe Anwendungsszenarien geeignet sind.

– Unterstützung von POSIX Access Control Lists (ACL): Ermöglicht eine leistungsfähigere Verwaltung von Benutzerrechten mit Hilfe der in Linux integrierten ACL-Tools (setfacl/getfacl).

– Unterstützung für nahtlose Upgrades: Ermöglicht nahtlose Upgrades ohne Betriebsunterbrechung durch erneutes Einhängen von JuiceFS am selben Einhängepunkt. Dies erleichtert auch die Online-Anpassung von Mount-Parametern.

JuiceFS Enterprise Edition wurde erheblich verbessert, um Hochleistungsszenarien besser zu bewältigen. Die neueste Version, v5.0, führt mehrere neue Funktionen ein, darunter Shared Block Devices zur Verbesserung der Performance beim Schreiben kleiner Dateien unter hoher Last, transparente Cache-Beschleunigung für Objektspeicher, periodische Dateiformatkonvertierung in Objekte und zahlreiche Optimierungen für das verteilte Cache-Management.

Stabile Diffusionsmodell-Communities wie SeaArt und LiblibAI sowie SaaS-Dienste wie LeptonAI, BentoML und Diffus haben JuiceFS in ihren Betrieb integriert.

Darüber hinaus wird JuiceFS in verschiedenen KI-Anwendungsbereichen wie autonomes Fahren, quantitativer Finanzhandel, Unterhaltungselektronik, Biomedizin und soziale Plattformen eingesetzt. Zu den namhaften Anwendern gehören Momenta, vivo, Xiaomi, DP Technology, MemVerge, Xiaohongshu und Zhihu.

In January 2021, JuiceFS Community Edition was open sourced. Users are located in more than 50 countries. Currently, the JuiceFS repository has reached 10k stars on GitHub, with increasing discussions and use cases in various industries.

The team of Juicedata consists of senior architects, engineers and solution experts with years of experience in distributed systems. They have previously worked for renowned high-tech companies such as Meta, Databricks, Alibaba, NetEase, Xiaohongshu, and Douban. At its inception, Juicedata was co-invested by China Growth Capital and Foothill Ventures.

Juice FS addresses the pain Points and Challenges:

– S3 is very popular in web services, but has limited compatibility with data-intensive workloads.

– No file system was designed for the cloud; most were built from bare metal, not elastic, and much more expensive than S3.

– Throughput is typically tied to data capacity and can’t scale independently.

– Managing LOSF (many small files) is a persistent challenge in file storage, especially in AI.

– Data access in multi-cloud and hybrid cloud environments is an emerging requirement.

JuiceFS Use Cases are:

Unstructured data storage in AI

– Generative AI

– Autonomous Driving

– Quantitative trading

– BioTech

– Data Lake

– HDFS Alternative, S3 Enhancement

– Integrated with all components of the big data ecosystem

– Kubernetes Persistent Volume

The current version of JuiceFS is 2024 Community Edition v1.2 LTS. JuiceFS v1.2-beta1 is released with significant usability improvements, bug fixes, and three new features:

– Enhanced gateway capabilities: Introduces Identity and Access Management (IAM) and event notifications to provide users with more secure, flexible and automated data management and monitoring capabilities suitable for multi-user environments and complex application scenarios.

– POSIX Access Control List (ACL) Support: Enables more powerful user rights management using Linux’s built-in ACL tools (setfacl/getfacl).

– Support for Smooth Upgrades: Allows seamless upgrades without disrupting operations by remounting JuiceFS to the same mount point. This also facilitates online adjustment of mount parameters.

JuiceFS Enterprise Edition has undergone significant enhancements to better address high performance scenarios. The latest release, v5.0, introduced several features including shared block devices to improve performance for writing small files under heavy load, transparent cache acceleration for object storage, periodic file format conversion to objects, and numerous optimizations for distributed cache management.

Stable diffusion model sharing communities such as SeaArt and LiblibAI, along with SaaS services such as LeptonAI, BentoML, and Diffus, have integrated JuiceFS into their operations.

In addition, JuiceFS is being used in various AI-applying industries such as autonomous driving, financial quant trading, consumer electronics, biomedicine, and social platforms. Notable users include Momenta, vivo, Xiaomi, DP Technology, MemVerge, Xiaohongshu, and Zhihu.