| JFrog und NVIDIA arbeiten zusammen, um den Einsatz von KI in Unternehmen zu vereinfachen, abzusichern und die wichtigsten Herausforderungen für Governance, Leistung und Sicherheit zu bewältigen. | JFrog and NVIDIA collaborate to simplify and secure enterprise AI deployment, addressing key challenges in governance, performance, and security. |
| Die KI-Revolution verändert Unternehmen derzeit rasend schnell. Laut McKinsey nutzen inzwischen 65 % der Unternehmen regelmäßig generative KI, was einer Verdoppelung gegenüber dem Vorjahr entspricht. Da Entwickler jedoch eilen, KI in ihre Produkte zu integrieren, kann der Übergang vom KI-Proof-of-Concept zur Produktion so anfühlen, als würde man versuchen, in einem Wirbelsturm Möbel aus flachen Kisten zusammenzubauen. Skalierbarkeit bedeutet auch eine komplexere Infrastruktur und Leistungsengpässe können Ihre einst blitzschnelle KI zum Stillstand bringen.
Um diesen Herausforderungen zu begegnen, haben JFrog und NVIDIA gemeinsam eine Lösung entwickelt, die das Potenzial der KI freisetzt und gleichzeitig sicherstellt, dass sie verantwortungsvoll genutzt wird. Die Integration der JFrog-Plattform mit den NVIDIA-Inference-Microservices (NIM) bietet einen einheitlichen, einfachen Ansatz für DevSecOps und den Einsatz von GenAI im Unternehmen. Die Hindernisse bei der KI-Einführung: Enterprise Edition
Die Aufrechterhaltung von Governance und Kontrolle kann bei der Integration von KI-Modellen in Unternehmensumgebungen komplex sein. Die Verwaltung von Modellen über verschiedene Systeme hinweg führt oft zu inkonsistenten Prozessen – sofern überhaupt welche existieren – und potenziellen Problemen bei der Rechenschaftspflicht innerhalb von Organisationen. Die Nachvollziehbarkeit und Verfolgung der Abstammung ist sehr herausfordernd und erschwert die Verwaltung von Änderungen, Implementierungen und Versionen von KI-Modellen während ihres gesamten Lebenszyklus. Das Fehlen klarer Prüfpfade macht es schwer, Vorschriften einzuhalten. Darüber hinaus kann das Fehlen standardisierter Tools und Prozesse zu isolierten Entwicklungs- und Bereitstellungspraktiken führen. Dies verschärft die bestehenden Schwierigkeiten bei der Verwaltung und beeinträchtigt die Gesamteffizienz und -zuverlässigkeit von KI-Initiativen.
Der Übergang vom KI-Proof-of-Concept zur Produktion kann entmutigend sein. Die Skalierbarkeit wird zu einem großen Problem und Leistungsengpässe können die KI-Effizienz stark beeinträchtigen. Die Verwendung nicht optimierter Modelle auf GPUs führt zu langsameren Inferenzzeiten, potenziell ausufernden Kosten und einer suboptimalen Ressourcennutzung. Eine kürzlich durchgeführte Umfrage ergab, dass 45 % der KI-Führungskräfte angaben, dass Open-Source-Modelle im Vergleich zu proprietären Modellen unterdurchschnittlich abschneiden, während 37 % angaben, dass sie im Betrieb teuer sind. Der springende Punkt ist daher die effiziente Anpassung der Modelle an die richtige Hardwarekonfiguration, um die Leistung Ihrer KI-Infrastruktur zu maximieren, ohne die Kosten zu erhöhen.
Das JFrog Security Research Team hat kürzlich Hunderte von bösartigen ML-Modellen aufgedeckt, die in beliebten KI-Repositories wie Hugging Face lauern. Diese Modelle stellten eine Bedrohung für die Remote-Code-Ausführung dar, die zu Verletzungen der Unternehmensdaten, Systemkompromittierung oder anderen bösartigen Aktionen führen könnte. Die JFrog-NVIDIA-Unternehmenslösung Die JFrog-Plattform rationalisiert das Management der Software-Lieferkette. Artifactory übernimmt dabei als Kernstück die Verwaltung des Binär-Repositorys. Die Plattform umfasst nun auch Sicherheitsscans, Governance und Verteilung sowie ML-Modell-Scans, um Sicherheit und Zuverlässigkeit während des gesamten Lebenszyklus zu gewährleisten. NVIDIA NIM (NVIDIA Inference Microservices) bietet containerisierte Dienste, die für eine sichere und schnelle Bereitstellung von KI-Modellen entwickelt wurden. Als Teil von NVIDIA AI Enterprise ermöglicht NIM hochleistungsfähiges Inferencing in verschiedenen Umgebungen. NIM erkennt automatisch Hardwarekonfigurationen, um die Leistung zu maximieren. Es unterstützt mehrere LLM-Laufzeiten und folgt der OpenAI-API-Spezifikation für eine einfache Integration. Die JFrog-NVIDIA-Integration adressiert den wachsenden Bedarf an sicheren und skalierbaren AI-Modelldiensten. JFrog Artifactory ist ein Proxy für NVIDIA NGC und zentralisiert die Verwaltung von NIM-Images und -Modellen innerhalb der JFrog-Plattform in dedizierten Remote-Repositories. Dadurch können NIM-Images Modelle von Artifactory statt von NGC beziehen. So lassen sich NVIDIAs KI-Funktionen nahtlos in Ihre bestehenden DevSecOps-Workflows integrieren. Wesentliche Merkmale:
– Eine einzige Quelle der Wahrheit: Konsolidieren Sie Softwarepakete und KI-Modelle in Artifactory, um Audits zu vereinfachen, die Sicherheit zu erhöhen, Unternehmensstandards zu erfüllen und die Einhaltung von Vorschriften zu erleichtern. Integrieren Sie den Lebenszyklus von ML-Modellen. Verwalten Sie Modelle wie jedes andere Artefakt, indem Sie sie im Rahmen Ihrer bestehenden DevOps-Praktiken versionskontrollieren und sichern. – Zentralisierte KI-Verwaltung: JFrog Curation für NIM-Images ermöglicht die Anpassung von KI-Modellen an die Richtlinien und Best Practices Ihres Unternehmens, rationalisiert Genehmigungsprozesse und beschleunigt die unternehmensweite Einführung von vertrauenswürdiger KI.
Effiziente Verteilung: Bündeln Sie ML-Modelle mit Abhängigkeiten in Artifactory, um externe Abhängigkeiten und Bandbreitennutzung zu reduzieren. Intelligente Leistungsanpassung: NIM wählt automatisch die am besten geeignete und voroptimierte Modellversion für Ihre Hardwarekonfiguration aus und setzt diese ein. Nahtlose Workflow-Übernahme: Nutzen Sie vorhandene Tools und Prozesse für die KI-Bereitstellung und machen Sie spezielle Toolchains überflüssig.
Umfassendes Scannen: Kontinuierliche Sicherheitsprüfungen über Container, Modelle und Abhängigkeiten hinweg halten Sie über Schwachstellen auf dem Laufenden. Intelligente Erkennung von Bedrohungen: Die kontextbezogene Analyse zeigt Sicherheitsrisiken speziell für NIM-Pakete auf, reduziert Fehlalarme und ermöglicht die Konzentration auf echte Bedrohungen. Proaktiver Schutz: Blockieren Sie Downloads kompromittierter Pakete und bewerten Sie deren Auswirkungen auf Ihr Unternehmen. Mit diesen Fähigkeiten geht die JFrog-NVIDIA-Integration die wichtigsten Herausforderungen beim Einsatz von KI in Unternehmen an und bietet Entwicklern und DevOps-Teams eine leistungsstarke Lösung. |
The AI revolution is transforming enterprises fast. According to McKinsey, 65% of organizations now regularly use generative AI, nearly doubling from last year. However, as developers rush to integrate AI into their products, the shift from AI proof-of-concept to production can feel like trying to assemble flat-box furniture in a hurricane. Scalability also means infrastructure complexity, and performance bottlenecks can make your once lightning-fast AI slow to a halt.
To address these challenges, JFrog and NVIDIA have collaborated to create a solution that unleashes AI’s potential while ensuring that it’s responsibly managed. Integrating the JFrog Platform with NVIDIA Inference Microservices (NIM) offers a unified, simple approach to DevSecOps and enterprise GenAI deployment. The AI Adoption Obstacles: Enterprise Edition
Maintaining governance and control can be complex when integrating AI models into enterprise environments. Managing models across different systems often leads to inconsistent processes (assuming any even exist) and potential accountability issues within organizations. Traceability and tracking lineage become significant challenges, making it difficult to manage changes, deployments, and versions of AI models throughout their lifecycle. This lack of clear audit trails complicates regulatory compliance efforts. Additionally, the absence of standardized tools and processes can result in siloed development and deployment practices, further exacerbating management difficulties and potentially impacting the overall efficiency and reliability of AI initiatives.
The shift from AI proof-of-concept to production can be daunting. Scalability becomes a significant concern, and performance bottlenecks can severely impact AI efficiency. Utilizing non-optimized models on GPUs leads to slower inference times, potential runaway expenses, and suboptimal resource utilization. A recent survey found that 45% of AI leaders reported open source models underperform compared to proprietary ones, while 37% noted they’re expensive to run. The sweet spot is efficiently matching models to the right hardware configuration to maximize performance from your AI infrastructure without breaking the bank.
The JFrog Security Research team recently uncovered hundreds of malicious ML models lurking in popular AI repositories like Hugging Face. These models posed threats of remote code execution, which could lead to enterprise data breaches, system compromise, or other malicious actions. The JFrog-NVIDIA Enterprise Solution The JFrog Platform streamlines software supply chain management, with Artifactory handling binary repository management at its core. The platform extends to security scanning, governance, and distribution, now including ML model scanning to ensure security and reliability throughout the lifecycle. NVIDIA NIM (NVIDIA Inference Microservices) offers containerized services, designed for secure and swift AI model deployment. As part of NVIDIA AI Enterprise, it enables high-performance inferencing across various environments. NIM automatically detects hardware configurations to maximize performance, supports multiple LLM runtimes, and follows the OpenAI API specification for easy integration. The JFrog-NVIDIA integration addresses the growing need for secure, scalable AI model services. JFrog Artifactory is a proxy for NVIDIA NGC, centralizing the management of NIM images and models within the JFrog Platform in dedicated remote repositories. This setup allows NIM images to source models from Artifactory, instead of from NGC, seamlessly integrating NVIDIA’s AI capabilities into your existing DevSecOps workflows. Key Features
Single source of truth: Consolidate software packages and AI models in Artifactory, streamlining audits, enhancing security, meeting corporate standards and simplifying compliance. ML model lifecycle integration: Manage models like any other artifact, version-controlling and securing them within your existing DevOps practices. Centralized AI governance: JFrog Curation for NIM images enables alignment of AI models with your company’s policies and best practices, streamlining approval processes and accelerating trusted AI adoption enterprise-wide.
Efficient distribution: Bundle ML models with dependencies in Artifactory, reducing external dependencies and bandwidth usage. Intelligent performance matching: NIM automatically selects and deploys the most suitable and pre-optimized model version for your hardware configuration. Seamless workflow adoption: Leverage existing tools and processes for AI deployment, eliminating the need for specialized toolchains.
Comprehensive scanning: Continuous security checks across containers, models, and dependencies keep you informed of vulnerabilities. Smart threat detection: Contextual analysis pinpoints security risks specific to NIM packages, reducing false alarms and allowing focus on genuine threats. Proactive protection: Block downloads of compromised packages and assess their impact across your organization. With these capabilities, the JFrog-NVIDIA integration tackles the key challenges of enterprise AI deployment, offering a powerful solution for developers and DevOps teams looking to harness AI’s potential securely and efficiently. |
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de