KI einfach ausprobieren – Just try AI

Sie können die Audiodatei hier anhören oder herunterladen oder das Transkript unten lesen (erstellt mit der Open Source KI Whisper auf Hugging Face).

You can listen to or download the German Language audio file here, or read the transcript below (created with the open source AI Whisper on Hugging Face).

In dieser Podcastfolge sprechen wir über Künstliche Intelligenz und ihre Auswirkungen auf uns alle. Zum Glück bin ich heute nicht allein, sondern mit einem Experten auf diesem Gebiet. Bei mir ist heute Arne Lehfeldt. Er ist Systems Engineer und CTO Ambassador bei Dell Technologies. Herzlich willkommen, Arne. Kannst du dich kurz vorstellen?

AL: Arne Lehfeldt, meinen Titel hast Du ja schon genannt. Solution Architect oder wie es neuerdings heißt Systems Engineer. Heute bin ich mehr in der Rolle des CTO Ambassador. Das ist so ein tolles Team innerhalb von Dell, in das man hineinwachsen kann. Und dann haben wir eben die Zusammenarbeit mit unserem CTO-Team, unserem Research Office.  Und da kann ich, glaube ich, heute schon einiges berichten.

CH: Das klingt sehr gut und spannend. Du hast ja sicher auch mit Kunden zu tun oder zumindest mit Kundenbedürfnissen.

AL: Genau, also ich habe viel mit Enterprise-Kunden in Süddeutschland zu tun. Das ist mein Bereich, in dem ich tätig bin. Also sehr viel Kundenkontakt.

CH: Umso mehr freuen wir uns, dass du heute bei uns bist. Arne, das Motto der diesjährigen Dell Tech World war in freier deutscher Übersetzung Beschleunigung von KI-Implementierungen zur Freisetzung von Innovationen. Das klingt natürlich erst einmal gut, aber da würde ich gerne von dir hören, ist KI derzeit der wichtigste oder gar der einzige Innovationstreiber?

AL: KI ist definitiv nicht der einzige Innovationstreiber, aber meiner Meinung nach ist es definitiv einer der wichtigsten Innovationstreiber und beschleunigt Innovationen in vielen anderen Bereichen. KI kann einfach einen unglaublichen Produktivitätsgewinn für die Kunden bringen. Mitarbeiter können produktiver werden. Die Unternehmen werden produktiver, also ganze Arbeitsprozesse können durch KI automatisiert und beschleunigt werden. Wenn man an einen digitalen Assistenten denkt, wo ich hier einfach viel breiter aufgestellt sein kann und meinen Kunden einen hochindividuellen Service bieten kann.

CH: Und was ist Ihrer Meinung nach derzeit die größte Herausforderung für Unternehmen, wenn es um KI geht?

AL: Das Thema ist sehr neu und es gibt natürlich noch viele Herausforderungen, weil man noch nicht so viel Erfahrung hat. Eine der größten Herausforderungen ist sicherlich das ganze Thema Mitarbeiterqualifikation. Also wie viele Mitarbeiter habe ich, die sich damit auskennen, wie viele Experten gibt es überhaupt auf dem Markt und wie schaffe ich es, mit der Geschwindigkeit dieser Entwicklungen mitzuhalten. Also das ist wirklich ein großer Punkt, wenn man sich anschaut, wie viele Nachrichten, wie viele neue Themen, wie viele neue Modelle jeden Tag rauskommen. Es ist unglaublich schwierig, da mitzuhalten.

Dazu kommt, dass das ganze Thema natürlich ein komplexes technisches Biest ist, würde ich fast sagen. Das heißt, hier ist es auch einfach schwierig, den Anfang zu finden. Wie kann ich das starten, aber wie kann ich das dann auch skalieren und wirklich in die Produktion bringen, so dass es auch einen Mehrwert für die Unternehmen bringt.

Und ja, man darf das Thema Sicherheit nicht vergessen. Also das ganze Thema Sicherheit ist ein großer Punkt, da sind noch viele Fragen offen. Also sowohl regulatorisch rechtlich als auch wie kann ich KI einsetzen, um meine Sicherheit zu erhöhen und wie gehe ich damit um, dass jetzt auch Angreifer KI einsetzen.

Da gibt es viele Beispiele. Ich kann mich an ein Beispiel erinnern, das durch die Presse gegangen ist, wo es wirklich um eine Videokonferenz für eine Risikokapitalfinanzierung ging. Also, wo eine Firma dazu gebracht wurde, relativ viel Geld zu überweisen, weil in der Videokonferenz gesagt wurde, man müsse so schnell wie möglich in diese Firma investieren und im Nachhinein stellte sich heraus, dass alle Teilnehmer der Videokonferenz KI-generiert oder mit KI überlagert waren. Die Firma, in die investiert wurde, gab es nicht.

CH: Ja, das ist natürlich schlecht. Also wir kommen gleich, sage ich mal, wieder auf das Thema Sicherheit zurück. Da geht es um die Datenqualität und wir wissen, dass die Datenqualität für viele Unternehmen noch ein großes Problem ist. Was ist Deine Meinung dazu?

AL: Also, die Datenqualität ist wirklich ein sehr großer Punkt. Wie überall gilt auch hier der Spruch „Garbage in, Garbage out“. Also wenn ich mein KI-Modell oder mehr oder weniger jeden Prozess mit schlechten Daten füttere, dann wird das Ergebnis auch nicht gut sein. Und bei der KI ist es noch extremer, weil sie ja aus den Daten, die ich zur Verfügung stelle, wirklich lernt. Wenn die Daten nicht gut sind, dann ist auch das Ergebnis schlecht und wird mir keinen Mehrwert bringen oder noch schlimmer, wenn es sogar falsche Ergebnisse liefert.

Das ist wirklich ein ganz großes Problem von KI, dass ich wirklich im Moment noch nicht 100 Prozent sicher sein kann, dass das, was rauskommt, auch richtig ist. Also zum einen aufgrund der Daten, die vielleicht reingekommen sind, aber auch zum zweiten, ob meine KI nicht angefangen hat zu halluzinieren.

Und da ist es sehr wichtig, dann auch die Daten entsprechend zu kuratieren und sicherlich einer der Haupttreiber, was den Aufwand angeht, überhaupt zu schauen, wo bekomme ich die Daten her und in welcher Qualität und welche Daten kann ich verwenden?

CH: Aber wie kann man das machen? Ich meine, wir haben immer mehr Daten und da kann man leicht den Überblick verlieren.

AL: Das stimmt, also das ist wirklich eine der schwierigsten Aufgaben und auch eine der großen Aufgaben, die zum Beispiel die Large Language Models (LLM) haben.  Also ein großer Schritt beim Training von LLMs ist, auf welchen Daten basiert das? Ich glaube, es wird auf dem ganzen Internet trainiert, aber wenn man genauer hinschaut, sieht man eben, dass das nicht der Fall ist, sondern man schaut sich ganz genau an, auf welchem Teil der Internetdaten es trainiert wird, um eben zu verhindern, dass plötzlich eine schlechte Sprache in mein KI-Modell reinkommt oder eben auch so etwas wie ein Bias.

CH: Absolut. Also bei KI geht es ganz klar um Daten und auch um LLMs und normalerweise hat man nicht nur eines im Unternehmen im Einsatz. Da frage ich mich, wie ist das Zusammenspiel dieser verschiedenen Modelle im Unternehmen?

AL: Also wir sehen immer mehr, dass jetzt diese multimodalen Modelle kommen, wo zum Beispiel im Hintergrund oder auch aktiv mehrere Modelle eingesetzt werden und dann auch KI-Modelle mit anderen KI-Modellen interagieren. Was wir jetzt schon sehen, ist, dass zum Beispiel ein Modell ein Ergebnis generiert und dann im Hintergrund ein zweites Modell noch mal hingeht und das überprüft, um einfach zu verhindern, dass da falsche Ergebnisse rauskommen.

CH: Das heißt, da sind eigentlich keine Menschen mehr am Werk, sondern das sind Modelle, die miteinander kommunizieren.

AL: Das ist dann wirklich eine Intermodell-Interaktion. Zumindest beim Training gab es das, dass bestimmte Modelle dann mit Hilfe von anderen Modellen trainiert wurden oder verbessert wurden. Also da passiert sehr viel. Am Ende wird immer der Mensch sitzen, am Ende wird immer der Mensch urteilen müssen. Ist das Ergebnis richtig? Was nicht einfach ist, es gab ja auch genügend Beispiele, wo das nicht passiert ist und dann das Ergebnis plausibel klang und 1:1 übernommen wurde und dann eben im Nachhinein herauskam, dass es nicht stimmt.

Also zum Beispiel gab es einen Anwalt in den USA, der einen Schriftsatz an ein Gericht geschrieben hat mit Beispielfällen und dann kam eben raus, dass diese Beispielfälle alle frei erfunden waren von der KI. Ein anderes Beispiel war ein Professor, mit dem ich gesprochen habe: Der hat Diplomarbeiten gelesen, wo wirklich mit Zitaten und Quellenangaben gearbeitet wurde und auch da kam raus, dass die Zitate und die Quellen erfunden waren von der KI.

CH: Das ist natürlich Wahnsinn, was das für Auswirkungen hat. Also man braucht immer noch eine Person, die das Ganze kontrolliert und nicht ein erstes Modell, ein zweites Modell und dann noch ein drittes Modell, das das Ganze kontrolliert oder die anderen beiden.

AL: Ja (lacht).

CH: Okay, das ist irgendwie beruhigend. Apropos Large Language Models. Sind Open Source Modelle eine echte Alternative und vielleicht kannst du mir ein bisschen über eure Zusammenarbeit mit Meta erzählen.

AL: Also aus unserer Sicht sind dort LLMs oder offene LLMs eine echte Alternative. Die haben einfach den großen Vorteil, dass ich sie einfach von Hugging Face zum Beispiel herunterladen kann und dann lokal auf meiner Infrastruktur betreiben kann. Das heißt, ich bin hier komplett sicher, was die Datensicherheit angeht, keine Daten gehen irgendwie in die Cloud oder zurück.

CH: Kannst du bitte Hugging Face erklären, denn ich bin mir sicher, dass es nicht jeder kennt.

AL: Hugging Face ist die größte Website, auf der Modelle gehostet werden, also Open Source Modelle. Ich kann jedem empfehlen, dort mal vorbeizuschauen, weil man die unglaubliche Bandbreite sieht. Es gibt mittlerweile mehrere hunderttausend Modelle und man kann die meisten auch direkt ausprobieren.

Und es gibt eben auch die ganzen Open Source Modelle, zum Beispiel Llama 3 von Meta, mit denen ich da spielen kann, die ich da runterladen kann und dann eben lokal betreiben kann. Und wir als Dell haben da auch eine Partnerschaft mit Hugging Face, wo wir sozusagen vorgefertigte oder vorgetestete Modelle zur Verfügung stellen, die man da direkt runterladen kann und dann auch sicher ist, dass sie auf der Dell-Infrastruktur gut laufen. Da kann man wirklich etwas ausprobieren.

CH: Viele Entscheider trauen sich natürlich noch nicht, viel zu investieren oder viel zu machen, weil man ein bisschen abwartet, was die anderen Firmen machen.

AL: Das Ganze entwickelt sich sehr schnell. Es macht sicher Sinn, sich das jetzt einfach mal anzuschauen. Die Einstiegshürden sind gar nicht so hoch. Es gibt mittlerweile auch sehr komfortable Installer. Es gibt von uns Designs, mit denen ich anfangen kann, die sind auch sehr klein. Also man denkt immer an riesige Server, die dahinter stehen, aber für viele Anwendungsfälle brauche ich die gar nicht.

Also wenn ich wirklich ein Open Source Modell nehme, es ein bisschen anpasse und verbessere, indem ich es mit meinen Kundendaten ergänze, dann hält sich der Aufwand und auch der Bedarf an Rechenleistung in Grenzen. Also ich kann ein bisschen die Angst nehmen.

CH: Arne, auf der Dell Tech habt ihr auch die AI Factory mit Nvidia vorgestellt. Kannst du das etwas genauer erklären?

AL: Genau, also die Dell AI Factory mit Nvidia ist unser Modell, um KI wirklich in die Breite zu tragen. Wir vergleichen es damit, wie die industrielle Revolution durch Fabriken vorangetrieben wurde, würde eben die KI-Revolution durch die Dell AI Factory in die Breite getragen.

Heute ist KI oft eine Manufaktur, sie wird irgendwie manuell zusammengebaut und erfordert viel manuelle Arbeit. Die Dell AI Factory bietet wirklich eine durchgängige Möglichkeit, Daten wirklich zu nutzen. Hier bieten wir dann auch die entsprechenden Services an, um die Daten zu kuratieren, die richtigen Daten auszuwählen.

Welchen Use Case will ich betreiben und dafür bieten wir Services und Beratung an. Welcher Use Case ist der richtige. In der KI gibt es tausende von Use Cases, in jeder Industrie gibt es viele Use Cases.  Aber ich muss natürlich mit einem Use Case beginnen. Ich muss herausfinden, welches das beste ist, welches am einfachsten umzusetzen ist und aus welchem ich den größten Mehrwert ziehe.

Das Ganze wird dann durch die Infrastruktur unterstützt. Hier haben wir viele Infrastrukturlösungen, auch jetzt neu angekündigt, von den richtigen Servern, aber auch im Client-Portfolio, also die KI-fähigen Laptops, die Workstations, um eben auch im kleinen Bereich anzufangen, bis dann zu den großen Speichersystemen und den entsprechenden Netzwerkkomponenten.

CH: Das heißt, das wäre für alle Unternehmensgrößen und nicht nur etwas für Großunternehmen.

AL: Genau, das ist wirklich für alle Größen. Auch da muss man keine Angst haben, dass man gleich irgendwie hunderte von Nvidia-Grafikkarten kaufen muss. Wenn ich hier zum Beispiel auf Open Source Modelle setze bis hin zu meinen Daten und Agenten. Dafür gibt es die Retrieval Augmented Generation (RAG). RAG ermöglicht die Integration von externen Daten in den Textgenerierungsprozess.  Ganz grob gesagt, füge ich ein paar PDFs zu einem LLM hinzu und kann dann eben auch auf meine aktuellen internen Daten zugreifen. Und das LLM kann dann auch mehr Antworten geben, was es aus einem normalen Training mit Internetdaten gar nicht könnte.

CH: Wo wir gerade bei den Kosten sind. Also wenn es um die Umsetzung oder Implementierung von KI geht, welche Möglichkeiten gibt es, wie viel sollte und kann ein Unternehmen investieren?

AL: Das ist natürlich eine schwierige Frage. Aus meiner Sicht sollte wirklich jedes Unternehmen in KI investieren oder sich zumindest damit auseinandersetzen. Wie gesagt, es gibt eigentlich in jedem Unternehmen, in jeder Branche, für jede Unternehmensgröße sicherlich sinnvolle Use Cases, die man sich anschauen sollte. Die Kosten hängen sehr stark von den Use-Cases ab.

Also wenn ich wirklich nur Inferencing mache, also mit einem LLM oder mit einer KI interagiere, dann hält sich das sehr in Grenzen. Wenn ich natürlich mein eigenes Modell von Grund auf trainiere, dann sind die Kosten enorm. Und ehrlich gesagt macht das eigentlich niemand. Es gibt vielleicht zwei Handvoll auf der Welt und in Deutschland vielleicht zwei oder drei, die ein eigenes Modell von Grund auf machen. Das verursacht dann auch hohe Kosten.

CH: Und wenn man von Kosten spricht, kann man auch von Nutzen sprechen. Also wenn Unternehmen schon investieren, wie viel auch immer. Was sind die konkreten Vorteile von KI oder der Implementierung von KI, Zeit sparen, Geld sparen, Personalressourcen sparen. Was kannst du uns konkret sagen?

AL: Mehr oder weniger alles. Das hängt natürlich wieder sehr vom Anwendungsfall ab. Was wir am meisten sehen, sind einfach Produktivitätsgewinne für die Mitarbeiter. KI-Assistenten können zum Beispiel bei der Programmierung unterstützen. Dadurch werden Programmierer deutlich produktiver, weil sie eben die Codegenerierung zumindest teilweise an die KI auslagern können. Sie werden schneller, sie können schneller Code generieren und mehr Codezeilen in kürzerer Zeit schreiben.

Ich persönlich benutze das auch sehr viel, wenn ich irgendwelche langen Texte oder Testpläne schreiben muss, dann lasse ich mir von der KI einen Vorschlag machen und mittlerweile sind die sehr gut geworden. Natürlich muss man das immer noch durchlesen und anpassen, aber ich kann einfach sehr schnell sehr lange Texte generieren und darauf aufbauen. Mir persönlich fällt es immer leichter, auf dem Text aufzubauen, der schon da ist, als vor einem leeren Blatt Papier zu sitzen und etwas zu schreiben.

CH: Geschwindigkeit ist gut, aber wenn es wirklich um Daten geht, geht es auch um Sicherheit. Wie kann man KI und Sicherheit unter einen Hut bringen?

AL: Das ist eine schwierige Frage. Auch da gibt es mehrere Dimensionen. Also einmal habe ich natürlich meine Sicherheitstools, die sicherlich mit KI-Unterstützung oder mit KI-Funktionen angereichert werden müssen. Das heißt, die lernen dann auch, was ist ein normales Verhalten und was ist dann abweichend. Das ist eine KI-Funktion im Sicherheitsbereich.

Auf der anderen Seite haben wir schon ein Beispiel genannt, auch Angreifer nutzen KI-Funktionen.  Da gab es zum Beispiel einen Anruf mit der Stimme des Finanzvorstands, der um eine ganz schnelle Überweisung gebeten hat, die dann auch gemacht wurde. Dann stellte sich heraus, dass diese Stimme nur von KI generiert wurde.

CH: Wie kann man sich davor schützen?

AL: Das ist wirklich schwierig. Wir brauchen einfach das Bewusstsein, dass das, was man sieht und was man hört, nicht mehr unbedingt der Realität entsprechen muss. Und dann vielleicht noch mal mit dem Rückruf beim CFO oder gucken, stimmt die Nummer auch wirklich.

CH: Also überprüfen?

AL: Genau. Ja, also mehr oder weniger genauso, wie ich auch das Ergebnis der KI überprüfen muss, muss ich jetzt auch beim Anruf schauen: Stimmt das?

CH: Zum Schluss würde mich noch deine Meinung interessieren. Ich war auf der Dell Tech und da gab es eine super interessante Q&A Runde in Las Vegas unter anderem mit Matt Baker und er sagte „Do not be a Consumer Be a Practitioner“. Teilst Du seine Meinung. Und ist das die richtige Einstellung, mit der Unternehmen an die Sache herangehen sollten? Also was tun?

AL: Ja, genau. Man lernt am besten, wenn man es wirklich anwendet. Und das ist, glaube ich, eine der großen Sachen, die KI so schnell so groß gemacht hat, dass plötzlich jeder damit umgehen kann. Und trotzdem, gerade wenn man sich das jetzt aus Unternehmenssicht anschaut, ist es eben wichtig, dass man nicht nur ein Standardmodell nutzt.

Da kann ich zwar gewisse Mehrwerte rausziehen, aber den großen Mehrwert bekomme ich, wenn ich meine Daten, meine Intellectual Property dazu gebe. Und das ist eben wichtig, dass ich auch mit zum Beispiel lokalen Modellen arbeite, dass ich mit Open Source Modellen arbeite und dass ich eben meine Daten da noch einfüge oder RAG verwende. Und ja, was meiner Meinung nach jeder nutzen sollte und nicht nur konsumieren, sondern eben auch aktiv werden, um einen höheren Mehrwert zu generieren.

CH: Aktiv werden. Wir haben heute sehr viel über KI und deren Auswirkungen gesprochen, das Thema ist natürlich wahnsinnig interessant und wird uns noch eine ganze Weile, wenn nicht für immer begleiten. An dieser Stelle vielen Dank Arne, für das wirklich sehr nette Gespräch und natürlich für die umfassenden Einblicke.

AL: Sehr gerne.

CH: Wunderbar. Und Ihnen allen zuhause oder unterwegs. Danke, dass Sie zugehört haben und bis zur nächsten Folge der Security, Storage und Channel Germany Podcasts. Machen Sie es gut und auf Wiederhören.

In this podcast episode we are talking about artificial intelligence and its impact on all of us. Luckily, I’m not alone today, but with an expert in the field. Joining me today is Arne Lehfeldt. He is a systems engineer and CTO ambassador at Dell Technologies. Welcome, Arne. Can you briefly introduce yourself?

AL: Arne Lehfeldt, you’ve already mentioned my title. Solution Architect or as it is now called Systems Engineer. Today I’m more in the role of CTO ambassador. It’s such a great team within Dell to grow into. And then we have the collaboration with our CTO team, our research office.  And I think I can tell you a lot about that today.

CH: That sounds great and exciting. You must also deal with customers, or at least with customer needs.

AL: Exactly, I have a lot to do with enterprise customers in southern Germany. That’s where I work. So a lot of customer contact.

CH: Well, we’re all the more pleased to have you with us today. Arne, the theme of this year’s Dell Tech World was „Accelerating AI implementations to unleash innovation“. That sounds good at first, but I want to hear from you, is AI the most important or even the only driver of innovation today?

AL: AI is definitely not the only driver of innovation, but I think it is definitely one of the most important drivers of innovation and accelerating innovation in many other areas. AI can just bring incredible productivity gains to customers. Employees can be more productive. Companies can become more productive, so whole work processes can be automated and accelerated by AI. If you think about a digital assistant, where I can just be much more broadly positioned and provide a highly personalized service to my customers.

CH: And what do you think is the biggest challenge for companies right now when it comes to AI?

AL: It’s a very new topic and there are a lot of challenges because we don’t have a lot of experience. One of the biggest challenges is certainly the whole issue of employee skills. So how many people do I have who are familiar with this, how many experts are there in the market and how do I manage to keep up with the speed of these developments. So that is a really big issue when you look at how much news, how many new issues, how many new models come out every day. It’s incredibly hard to keep up.

On top of that, the whole subject is of course a complex technical beast, I’d almost say. That means it’s hard to get started. How do I get started, but how do I scale it up and really get it into production so that it adds value to the enterprise?

And yes, you can’t forget about security. The whole issue of security is a big one and there are still a lot of unanswered questions. Both from a regulatory and legal perspective, and how can I use AI to increase my security, and how do I deal with the fact that attackers are now also using AI.

There are many examples. I can think of one that was in the press where it was actually a video conference for venture capital funding. In other words, a company was persuaded to transfer a relatively large amount of money because they were told in the video conference that they needed to invest in this company as soon as possible, and afterwards it turned out that all the participants in the video conference were AI-generated or overlaid with AI. The company they were investing in didn’t exist.

CH: Yeah, that’s bad, of course. I’ll come back to security in a minute. It’s about data quality and we know that data quality is still a big problem for many companies. What is your take on that?

AL: Well, data quality really is a very big issue. Like anywhere else, it is a case of garbage in, garbage out. So if I feed my AI model or any process with bad data, the result won’t be good. And it’s even more extreme with AI, because it’s really learning from the data that I provide. If the data is not good, then the result will also be bad and will not add any value to me, or even worse, it will give me wrong results.

That’s a really big problem with AI, that I really can’t be 100 percent sure right now that what’s coming out is correct. Partly because of the data that may have come in, but also because my AI hasn’t started to hallucinate.

And it’s very important to curate the data accordingly, and certainly one of the main drivers in terms of the effort involved is to see where I can get the data from and in what quality and what data can I use?

CH: But how do you do that? I mean, we have more and more data and it’s easy to lose track of it.

AL: That’s right, so that’s really one of the most difficult tasks and also one of the biggest tasks that Large Language Models (LLM), for example, have.  So a big step in training LLMs is, what data is it based on? I think it’s trained on the whole Internet, but if you look more closely, you can see that’s not the case, but you look very closely at what part of the Internet data it’s trained on to prevent bad language from suddenly getting into my AI model or something like a bias.

CH: Absolutely. So AI is clearly about data and it’s also about LLMs, and usually you don’t just have one in the company. So I wonder, how do these different models interact within the company?

AL: Well, we are seeing more and more of these multimodal models where, for example, multiple models are used in the background or active and then AI models interact with other AI models. What we are already seeing is, for example, one model will generate a result, and then a second model will go back in the background and check it again, just to prevent wrong results from coming out.

CH: In other words, there are no longer people at work, but models communicating with each other.

AL: It really is inter-model interaction. At least during training, certain models were trained or improved with the help of other models. So there is a lot going on. In the end, there will always be a human being at the table; in the end, there will always be a human being who has to make a judgment. Is the result right? It’s not easy, there have been many examples where it hasn’t been and the result sounded plausible and was adopted 1:1 and then it turned out that it wasn’t right.

For example, there was a lawyer in the US who wrote a brief to a court with example cases, and then it turned out that those example cases were all made up by the AI. Another example was a professor I talked to: He was reading dissertations that really used citations and sources, and it also turned out that the citations and sources were made up by the AI.

CH: Of course it’s crazy what that means. So you still need a human to control the whole thing and not a first model, a second model, and then a third model that controls the whole thing or the other two.

AL: Yeah (laughs).

CH: Okay, that’s kind of comforting. Speaking of Large Language Models. Are open source models a real alternative and maybe you can tell me a little bit about your collaboration with Meta.

AL: Well, from our point of view, LLMs or open LLMs are a real alternative. They simply have the great advantage that I can simply download them from Hugging Face, for example, and then run them locally on my infrastructure. That means I’m completely safe in terms of data security, no data is going to the cloud or back.

CH: Can you please explain Hugging Face because I’m sure not everyone is familiar with it.

AL: So from our point of view, LLMs or open LLMs are a real alternative. They simply have the great advantage that I can simply download them from Hugging Face, for example, and then run them locally on my infrastructure. That means I’m completely safe in terms of data security, no data is going to the cloud or back.

CH: Can you please explain Hugging Face because I’m sure not everyone is familiar with it.

AL: Hugging Face is the largest site that hosts models, open source models. I can recommend everyone to go there because you can see the incredible range. There are several hundred thousand models now, and you can try most of them right away.

And there are also all the open source models, for example Llama 3 by Meta, which I can play with, download and then run locally. And we at Dell also have a partnership with Hugging Face where we have pre-built or pre-tested models that you can download directly and then be assured that they will run well on the Dell infrastructure. You can really try things out.

CH: Of course, a lot of decision makers are still reluctant to invest or do a lot because they want to see what the other companies are doing.

AL: The whole thing is moving very fast. It certainly makes sense to look at it now. The barriers to entry are not so high. There are very convenient installers now. We have designs that I can start with, and they are also very small. So you always think of huge servers behind them, but for many use cases I don’t need them at all.

So if I really take an open source model, customize it a little bit, and improve it by adding my customer data, then the effort and the need for computing power is limited. So I can take some of the fear away.

CH: Arne, you also presented the AI Factory with Nvidia at Dell Tech. Can you elaborate on that?

AL: Right, so the Dell AI Factory with Nvidia is our model for really bringing AI to the masses. We liken it to how the industrial revolution was driven by factories, the AI revolution would be brought to the masses by the Dell AI Factory.

Today, AI is often a factory, it is kind of manually assembled and requires a lot of manual labor. The Dell AI Factory really provides an end-to-end way to really leverage data. We also provide the services to curate the data and select the right data.

What use case do I want to run, and we provide services and guidance around that. Which use case is the right one. There are thousands of use cases in AI, there are many use cases in every industry.  But of course I have to start with a use case. I have to figure out which one is the best, which one is the easiest to implement, and which one will give me the most value.

The whole thing is then supported by the infrastructure. We have a lot of infrastructure solutions here, including the newly announced ones, from the right servers, but also in the client portfolio, so the AI-enabled laptops, the workstations, starting from the small end, all the way up to the large storage systems and the corresponding network components.

CH: So it would be for all sizes of businesses, not just large enterprises.

AL: Exactly, it really is for all sizes. You don’t have to worry about buying hundreds of Nvidia graphics cards. For example, if I rely on open source models for my data and agents. That’s where RAG (Retrieval Augmented Generation) comes in. RAG allows you to integrate external data into the text generation process.  Roughly speaking, I can add some PDFs to an LLM and then access my current internal data. And the LLM can then provide more answers that it wouldn’t be able to with normal training using Internet data.

CH: While we’re on the subject of cost. When it comes to implementing AI, what are the options, how much should and can a company invest?

AL: This is of course a difficult question. In my opinion, every company should really invest in AI or at least look into it. As I said, there are certainly meaningful use cases in every company, in every industry and for every size of company that should be looked at. The costs depend very much on the use cases.

So if I am really just doing inference, interacting with an LLM or an AI, then the cost is very limited. Of course, if I train my own model from scratch, then the cost is enormous. And to be honest, nobody is doing that. There are maybe two handful of people in the world, and maybe two or three in Germany, who build their own model from scratch. That is also very expensive.

CH: And when you talk about costs, you can also talk about benefits. So if companies are already investing, however much. What are the concrete benefits of AI or the implementation of AI, saving time, saving money, saving human resources. What can you tell us specifically?

AL: More or less everything. Of course, it depends very much on the use case. What we see most is simply productivity gains for employees. For example, AI assistants can help with programming. This makes programmers much more productive because they can outsource at least part of the code generation to the AI. They become faster, they can generate code faster, and they can write more lines of code in less time.

I personally use it a lot, when I have to write long texts or test plans, I let the AI make a suggestion and it has become very good. Of course, you still have to read it and adjust it, but I can generate very long texts very quickly and build on them. Personally, I always find it easier to build on existing text than to sit in front of a blank sheet of paper and write something.

CH: Speed is good, but when it comes to data, it’s also about security. How do you balance AI and security?

AL: That’s a tough question. Again, there are several dimensions. First, of course, I have my security tools, which certainly need to be enhanced with AI support or AI capabilities. This means that they also learn what is normal behavior and what is abnormal behavior. That is an AI function in the security area.

On the other hand, we mentioned an example where attackers also use AI capabilities.  For example, there was a call with the voice of the CFO asking for a very quick bank transfer, which was then made. It turned out that the voice was generated by AI.

CH: How can you protect yourself against this?

AL: It’s really difficult. We just have to be aware that what we see and what we hear doesn’t necessarily have to be reality. And then maybe call the CFO again or check if the number is really correct.

CH: So check it?

AL: Exactly. Yeah, more or less in the same way that I have to check the AI result, I have to check the call: Is it correct?

CH: Finally, I would be interested in your opinion. I was at Dell Tech and there was a super interesting Q&A session in Las Vegas with Matt Baker, among others, and he said „Do not be a Consumer Be a Practitioner“. Do you share his view? And is that the right attitude for companies? So what do you do?

AL: Yes, exactly. The best way to learn is to apply it. And I think that’s one of the big things that has made AI so big, so fast, that suddenly everybody can use it. And yet, especially when you look at it from a business perspective, it’s important that you don’t just use a standard model.

I can get some value out of it, but I get the most value when I add my data, my intellectual property. And it’s important that I also work with local models, for example, that I work with open source models and that I add my data or use RAG. And yes, what I think everybody should use and not just consume but become active to create more value.

CH: Become active. We’ve talked a lot today about AI and its implications, it’s an incredibly interesting topic and it’s going to be with us for a long time, if not forever. Thank you very much, Arne, for the really nice conversation and of course for the comprehensive insights.

AL: With pleasure.

CH: Wonderful. And to all of you at home or on the road. Thanks for listening and see you next time for the Security, Storage and Channel Germany podcasts. Take care and see you again.