Michael Plettner: 0:04

Hallo und herzlich willkommen zum Podcast DECODE.AI. Willkommen zu unserer aktuellen Episode. Und bevor wir reingehen in den Inhalt, begrüße ich auch Ralf. Hallo Ralf.

Ralf Richter: 0:20

Servus Michael. Sehr ungewohnt irgendwie jetzt einfach mal wieder in Deutsch unterwegs zu sein.

Michael Plettner: 0:26

Ja und das hat einen guten Grund, denn wir haben heute einen deutschen Gast bei uns, der ganz viel über AI in letzter Zeit macht, spricht und uns etwas auch ganz Spannendes mitgebracht hat. Das soll als kleiner Cliffhanger schon mal ausreichen. Und damit starte ich mit der Verwirrung. Wir werden nämlich jetzt demnächst zwei Michaels hier in dem Podcast mit drin haben. Herzlich willkommen, Michael

Michael Greth: 0:59

Kretz. Ja einen wunderschönen Tag Servus Michael. Ja, schönen Dank, dass ich bei euch sein kann. Und hallo liebe Zuhörer.

Michael Plettner: 1:07

Wir freuen uns, dass du dir die Zeit nimmst und mit uns über AI sprechen wirst. Damit wir dich so ein bisschen kennenlernen können, vielleicht erzählst ein kleines bisschen, wer du bist, was du machst und wie du vielleicht auch Richtung AI gekommen bist.

Michael Greth: 1:23

Ja, gerne. Also Michael Gret, ich lebe und wohne in Berlin, komme aus Berlin, bin als Berater rund um Microsoft-Technologien seit höchsten Jahren unterwegs und insofern eine relativ lange Historie Ja Das mich mit dem Thema Computer beschäftigt. Meinen ersten Computer habe ich tatsächlich noch selbst zusammengelötet. Und insofern spannt sich da der Bogen mittlerweile bis hin zum Thema AI. Zwischendurch lag eine ziemlich lange Story, die was mit SharePoint zu tun hatte. Denn ich habe zusammen mit anderen am Beginn der 2000er Jahre die ganze SharePoint Community aufgebaut. Und wir waren halt 25 Jahre lang mittlerweile fast schon Jetzt zum Thema SharePoint, Microsoft und dann später natürlich Microsoft 365 unterwegs. Und meine Zielgruppe war immer, Technologie zu vermitteln, meinen Kunden zu sagen, was sie damit machen können. Und für mich aber auch persönlich immer tatsächlich noch einen Blick hinter die Kulissen zu werfen, zu sehen, ich muss nicht alles verstehen, aber ich muss zumindest irgendwie einen Eindruck davon bekommen, wie was funktioniert. Und seit, wie lange ist es jetzt? 18, 19 Monaten, als dann plötzlich ChatGPT auf den Markt kam, war ich natürlich auch erstmal skeptisch weil... Welchen Sau wird jetzt wieder durchs Dorf getrieben, habe dann aber tatsächlich gesagt, okay, ich gucke mir das mal an, eine Stunde davor gesessen und dachte mir, oh mein Gott, dass ich das noch miterleben darf, da kommt ja was ganz Tolles auf uns zu. Das hat man einfach so mit der Erfahrung sofort im Gefühl und sagt, okay, das ist etwas, nochmal was völlig anderes und bisher nicht enttäuscht worden. Ganz im Gegenteil das, was so vorangeht ist super spannend, allerdings auch ziemlich Also wie heißt es schön? Exhausting, weil es extrem schnell geht, man so viele Informationen verarbeiten muss. Aber ja, und deshalb freue ich mich, dass ich auch heute hier sein kann und ein bisschen über das Thema AI reden kann. Aber ich sage mal so, für den Hausgebrauch sage ich immer. Also, was habe ich persönlich davon? Was mache ich persönlich damit? Und was kann ich aus meinen Erfahrungen an die Zuhörer weitergeben, damit sie vielleicht einen besseren Einstieg und einen besseren Blick hinter die Kulissen bringen?

Ralf Richter: 3:34

Das finde ich mega spannend, was du da gerade gesagt hast. Vor allen Dingen, Michael, dass du gerade in Berlin bist, weil hinter mir befindet sich gerade das Ortsschild Berlin und auf Wiedersehen Berlin. Ich fahre gerade nach Hause. Das hätte ich ein bisschen früher spannen sollen, dass wir so nah beieinander waren jetzt eine Woche. Ich habe nämlich gerade ein AI-Training gegeben hier in Berlin bei einem prominenten rosa-roten Unternehmen Finde ich mega spannend. Ich werde öfter in Berlin sein und freue mich dich dann auch persönlich mal zu treffen. Aber super spannende Themen und auch die Historie finde ich mega gut.

Michael Greth: 4:13

Ja, also ich habe dem Micha vorhin schon gesagt, dass immer hier vor mir auf meinem Tisch vor meiner Kamera, da liegt immer so ein kleiner Transistor, weißt du, so ein BC-547 ist es glaube ich, kleines halbrundes Ding mit drei Beinchen und daneben liegt immer mein Smartphone Was ungefähr acht Milliarden davon drin hat. Und das hilft mir dann immer noch mal zu verstehen, was ist eigentlich mit der Technik im Hintergrund los? Das macht so neugierig.

Michael Plettner: 4:42

Jetzt ist der Sprung von SharePoint zu AI doch schon relativ groß. Du hast gesagt, du willst gerne reinschauen, was da alles dahintersteht, was da alles so mitgeht. Was sind denn deine Erkenntnisse aus den letzten 18, 19 Monaten?

Michael Greth: 5:02

Oh, das ist eine ganze Menge. Also ich sage mal, um es mal ein bisschen zusammenzufassen, also es ist eigentlich eine natürliche Weiterentwicklung. Es hat auch sehr viel mit SharePoint und Microsoft 365 mit Teams zu tun. Es geht einfach darum, wie ich mit IT im alltäglichen Leben umgehe. Also wo ich meine Daten speichere, wo ich meine Informationen bekomme, wie ich mit anderen zusammenarbeite, Informationen teile. Eine lange Story. Ich hole immer gerne meine ersten Folien aus dem Jahre 2001 mal hervor, wo drauf stand, SharePoint ist eine Plattform, wo wir alle gemeinsam an Daten arbeiten können, eine zentrale Ablage vorfinden und gemeinsam Daten mit uns teilen. Diese Folie kann ich jeden Tag wieder auflegen, was immer noch bis heute ein nicht relativ komplett gelöstes Problem ist und habe ich auch schon mal gemacht, dann habe ich einfach SharePoint durch Office 365 ausgetauscht hat schon gepasst. So, insofern ist das eine Natürliche Weiterentwicklung. Und für mich war eigentlich der Killerpunkt an ChatGPT, der herauskam, war für mich einfach, wow, dieses Sprach dieses Thema Spracherkennung Sprachverarbeitung und Sprachausgabe. Das heißt, ich konnte plötzlich mit... Einer IT, meinem Rechner, meinem Programm, was auch immer, oder in diesem Fall mit dem Chatbot, ich konnte in natürlicher Sprache einfach sagen, hey, kannst du mir mal bitte fünf Titel für meinen nächsten Podcast geben? Und dann hat er mir entsprechend fünf Titel rausgegeben und wenn er gut war, hat er noch gefragt. Also ich kann ganz normal mit Sprache kommunizieren. Ich brauche keine Tastatur, ich brauche keinen Monitor, ich brauche keinen Touchscreen. Insofern ist für mich so, die Killer-Funktionalität ist einfach, Dass das wie Tastatur Maus oder das Touchscreen nochmal ein anderes Kommunikationsmedium Umgangsmedium mit IT ist. Und das hat sich jetzt in den letzten 18 Monaten absolut bewährt. Insbesondere habe ich jetzt mal Schätzen gelernt, dass ich mit Chat-GPT auf dem Smartphone ja auch so richtig interaktiv reden kann. Und wenn ich dann mal ein bisschen zum Einkaufen fahre, und da habe ich dann morgens dann meistens mal 15 Minuten Zeit, Dann schmeißt man mal kurz, diskutiert mal 15 Minuten mit ChatGPT irgendein aktuelles Problem und dann musst du schon aufpassen, dass du danach nicht sagst, ist der hier ausgestiegen oder was? Ach nee, das war ja bloß ein künstlicher Assistent Das ist schon extrem faszinierend. Das kannst du dann über technische Dinge machen oder kannst auch mal über historische Filme oder Memes in alten Filmen diskutieren. Es ist interessant, wie man dort diskutiert und man bekommt einfach eine. Entsprechende eine Erfahrung, wie man damit umgeht. Und das ist natürlich das, was letztlich zum einen die Basisfunktionalität ist, also diese Sprachkommunikation. Und das Zweite ist halt, dass er eben auch so ein Verständnis heuchelt, dass er sagt, er kann verstehen, was ich sage und kann dann dieses Reasoning machen. Also er versteht meine Eingabe, kann aufgrund seines vorhandenen Wissens Dann vernünftige Antworten geben. Und tatsächlich überwiegend und über die Monate immer besser, gibt er auch richtig gute Antworten. Also das muss ich auch sagen. Klar, ist manchmal auch irgendwelcher Mist dabei, aber im Wesentlichen wenn man gut fragt kriegt man gute Antworten so nach dem Motto. Und insofern ist das für mich einfach so von der praktischen Anwendung her natürlich super. Und dann habe ich mich natürlich gefragt, Das ist ja toll, aber an KI forschen wir doch schon seit Mitte der 50er Jahre, da vom Dasmogogic und so weiter und so fort und es gab auch immer wieder andere. Ich hatte sogar mal ein Buch, Künstliche Intelligenz auf dem Commodore 64 von Data Becker gab es das mal, da waren glaube ich 25 Programmlistings abgedruckt ich wollte mir das jetzt einfach nur aus Historie nochmal kaufen, musste aber feststellen Dass wenn man das als gebrauchtes Buch baut, das 250 Euro kostet. Und da habe ich es dann doch sein lassen. Es scheint also gesucht zu sein. Es gibt es aber als PDF zum Download. So, also mit anderen Worten dieses Thema Künstliche Intelligenz. Und da dachte ich mir, warum ist denn dieser Chatbot jetzt so riesig Und dann stellst du plötzlich fest, dass man sagt, okay, dieses Sprachmodell arbeitet einfach auf statistischen Wahrscheinlichkeiten. Das heißt, es reiht einfach Token an Token, Silbe an Silbe nacheinander Und dann kriegst du solche Ergebnisse raus. Und dann philosophiert man kurz darüber und sagt sich, okay, da waren also viele Wissenschaftler unterwegs, die haben uns von Ontologien oder von Klassifikationen oder weiß ich was, alles Mögliche haben sie probiert um sowas zu machen. Und was schlägt das alles? Hey, einfach eine gute Statistik der einfach Silber an Silber reiht. Und dann kommen gute Ergebnisse raus. Das ist irgendwie... Faszinierend Auf der anderen Seite ist es aber auch ziemlich frustrierend wenn man sagt, das soll jetzt so klug sein wie wir, einfach nur weil es Statistik machen kann. Naja und dann steigt man halt tiefer ein bisschen in die Modelle ein. Also man probiert natürlich auch. Ich habe sehr viel mit ChatGPT angefangen zu testen insbesondere auch aus meiner Verbindung her zu Video, gerne mit Videotranskripten. Wenn du praktisch ein Video aufgerollt hast, kannst du aus dem Transkript heraus lesen Am Anfang ging das schon Relativ gut, dass man so Stimmung lesen kann. Wie war denn die Stimmung in dem Video drin? Dann überlegst auch, wenn du nach Stimmung fragen kannst, kannst du auch fragen, hat da jemand rumgepöbelt oder ähnliches. Also das waren schon die Dinge wo du sagst faszinierend mit Zusammenfassung, aber wie weit kann ich das Ganze treiben? Und dann probiert man halt ein bisschen rum und mittlerweile habe ich mir dann auch mithilfe von GitHub-Copilot, Python-Programmieren wieder aktiviert und gelernt und mir eine komplette Applikation gebaut, die mir YouTube-Videos herunterlädt transkribiert zusammenfasst und dann alles in den Notion-Datenbank spart, sodass ich automatisch da einen Datenschatz aufbauen kann. Und das sind so die Dinge, wo man dann selber seinen eigenen Use Case findet, also was könnte ich denn damit machen? Und sieht, dass man mit dieser ganzen Technologie vorankommt. Und das immer, wie gesagt, auf der Basis der Sprachmodelle. Und die haben sich natürlich jetzt in den letzten 18 Monaten doch erheblich weiterentwickelt. Microsoft hat das relativ früh erkannt, dass sie sich komplett Co-Pilot-Company umbenannt haben. Auch über Marketing können wir uns da mal separat unterhalten. Aber auch die anderen haben natürlich kräftig nachgelegt und da haben sich doch erhebliche Und Veränderungen und Verbesserungen und auch Dinge ereignet, die ich jetzt auch in den letzten Monaten ja auch immer gut mitverfolgt habe und versucht habe, auch mal zu verstehen, wie das Ganze funktioniert. Das ist so aktuell mein Stand gewesen. Aber wir können jetzt gerne noch mal ein bisschen tiefer auch in die einzelnen Aspekte eingehen.

Ralf Richter: 11:43

Ja, das ist eine coole Zusammenfassung Ich bin nicht so ganz einverstanden mit dem Statistik-Ansatz, weil wir über Wahrscheinlichkeiten sprechen. Das ist jetzt vielleicht Wortklauberei, aber wir reden über Wahrscheinlichkeiten an der Stelle und nicht über

Michael Greth: 11:58

Statistiken. Ich gebe dir da völlig recht. Ich hebe auch nicht den Anspruch, dass ich wissenschaftlich korrekt spreche. Ich sage immer für den Hausbau. Wie ich immer sage, Statistik und Wahrscheinlichkeit ist das... Gebe ich dir da völlig recht. Aber für mich ist es immer so, ich versuche immer, letztlich kommt es auch selber raus. Irgendwas wird da zusammengeklöppelt. Obwohl ganz komisch Als ich dann mal überlegt habe, vielleicht sprechen wir selber ja auch so. Wenn wir in einen Dialog eintreten, habe ich immer gesagt, stell dir mal vor, Wahlabend nach Landtagswahl Bundestagswahl 18 Uhr, die ersten Ergebnisse werden gesagt. Du guckst dir an, welche Partei wie performt hat und dann weißt du schon, wenn das erste Interview kommt, welche Worte dort gewählt werden. Entweder wenn der gut war, dann dankt er seinen Wähler und da kommt auch so eine Stelle. Ganz so relativ, mit Hilfe von Wahrscheinlichkeit Orten, was vermutlich dort rauskommt. Und vielleicht sind wir doch nicht so weit weg. Vielleicht sind wir das ja auch nur die in dieser Art und Weise.

Ralf Richter: 13:02

Ja, ja, da hast du wahrscheinlich gar nicht so Unrecht, dass man in einem Gespräch oder in einer Diskussion selber auch mit Wahrscheinlichkeiten arbeitet, nur dass wir deutlich schneller sind als ein LLM, ne? Aber die Leute, die unserem Podcast schon ein bisschen länger folgen, die wissen natürlich, dass es bei den Antworten sich um Wahrscheinlichkeiten handelt. Deswegen hatte ich das kurz mit einbringen wollen, Michael, an der Stelle. Sehr cool.

Michael Greth: 13:28

Also bitte entschuldige, dass das so ist, aber ich versuche es für einen Hausgebrauch zu formulieren. Völlig akzeptiert

Michael Plettner: 13:45

Jetzt haben wir gerade eben schon mal davon gesprochen, dass du viel mit LLMs, also in dem Fall dann eben auch mit ChatGPT einiges gemacht hast und gleichzeitig hast du ja erzählt, dass du eine Videodatenbank runtergibst Also, dass du mithilfe von AI anfängst Videos, die entsprechenden Suchmechanismen angehen, mit runterlädst. Machst du dann noch irgendwas mit den Videos hinten dran? Ja, sammeln. Das ist

Michael Greth: 14:17

natürlich richtig. Und da kommt jetzt, sagen wir mal, ein bisschen der technischere Part dazu Das Erste war zu sagen, ganz einfach, da gab es so ein Plugin für Chrome, wo man schon bei jedem YouTube-Video einfach das Transkript sehen konnte und per Cut und Paste sich runterladen konnte. Dann hast du schon mal das Transkript und hast den Text, der dort gesprochen wird. Und dann dachte ich mir, naja, so ein Chat-GPT kann ja auch Texte zusammenfassen. Also nimmst du einfach mal den Text, kopierst den in den Prompt rein und sagst, bitte fass mir doch mal dieses Transkript zusammen. Und dann wundert man sich. Was für eine coole Zusammenfassung da rauskommt. Und zwar wunderte man sich immer, auch wenn man das rückblickend sagt, naja damals waren die Zusammenfassungen noch nicht so toll, aber für den Zeitpunkt waren die schon toll. Und mittlerweile, wenn ich jetzt auf ChatGPT 4.0 das hochlade, dann ist das schon extrem gut. Und ich kann mal ein ganz aktuelles Beispiel geben. Ich wollte mir aufgrund des Themas, wie man eigentlich mit KI umgeht Ein altes Buch, was ich mal hatte, und zwar den One-Minute-Manager von Kenneth Blanchard. Das ist so ein Standardwerk für Manager, wie sie mit ihren Mitarbeitern kommunizieren sollen. Ich dachte mir, das ist auch etwas, was man mit KI machen kann. Und ich hatte dieses Buch mal, aber ich habe es nicht mehr und dachte mir, ich müsste mir das irgendwie besorgen. Und dann guckte ich auf YouTube und da gibt es ein Hörbuch davon. Und da dachte ich mir, guck mal, ein Hörbuch, 1 Stunde 30 lang. Ich dachte mir, das müsste doch eigentlich gehen, wenn ich mir das Transkript runterlade und dann sage, bitte aus dem Transkript schreibe mir jetzt eins zu eins ohne Veränderung den gesamten Text darunter in Form eines Buchs. Es hat dann 15 Minuten gedauert ich musste mehrere Mal auf Continue klicken und dann habe ich alles nach Word rüber kopiert und habe jetzt eine Word-Kopie von dem Buch von Kenneth Blanchard. Und zwar richtig mit allen drin und auch gut formatiert mittlerweile. Und das hat mich gestern schon wieder überrascht was man dann doch damit macht. Ja, aber nein, was für mich aber nochmal wichtig ist zu meinen, habe ich damit natürlich dann auch ausprobiert, das zunächst über Chat-GBT zu machen, also über das Frontend. Und da habe ich natürlich aber auch gesagt, okay, ich bin ja auch auf OpenAI. Ich könnte das ja auch über die API-Schnittstelle machen. Wie geht das denn? Und da ich mir die Videos ja sowieso mit einem Python-Skript heruntergeladen habe, habe gesagt, naja vielleicht kann ich die auch dann, dieses Transkript einfach an OpenAI schicken. Und dann habe ich den GitHub-Copilot geschaut, wie mache ich denn das? Bitte schick mir doch einen Python-Skript dazu. Und nun ist das keine Raketenwissenschaft und die Skripte sind auch nicht 500 Zeilen lang, da kommt irgendwie so 15 Zeilen Code und den packst du da rein und dann drückst auf mach mal und dann siehst du, oh, funktioniert, da brauchst noch einen API-Key, gut, das kriege ich auch noch hin Und, aber innerhalb kürzester Zeit habe ich dann die Funktion, ich lade das Video runter, es ist transkribiert, nehme den transkribierten Text, schicke ihn an OpenAI und schicke ihm dann meinen eigenen Prompt mit. Zum Beispiel fasse zusammen, weil das ein Interview ist, in der Form Frage und Antworten führe es bitte aus. Oder weil es eine Demo war, bitte mach mir aus dieser Demo eine How-To-Anleitung Und dementsprechend kriege ich die Texte zurück und die speichere ich mir dann lokal ab. Und dann habe ich das alles als Speichermedium, habe ich dann Notion gewählt. Ich habe auch gerne Loop genommen. Loop ist kompliziert und macht das nicht so einfach. Deshalb habe ich Notion genommen, weil Notion für so einen ich sage mal, so einen programmierenden Warmduscher wie mich einfach die richtige, eine einfache Lösung ist, die ich auch bedienen kann, indem ich mich dann dem GitHub-Copilot sage. Kannst du das bitte mal nach Notion schreiben, wie mache ich das und das habe ich dann auch hinbekommen, ist kein Wissen, aber das ist sowas und jetzt bin ich dabei, schrittweise immer weiter an diesen Prompt zu schreiben, wie ich dann aus diesen Texten noch mehr rausholen kann und gucke mir natürlich auch an, was andere machen ja und das war dann sozusagen die kombinierte Kirm mit OpenAI und dann bin ich ja MVP und habe auch noch nicht durch den GitHub-Coop halt, ich habe ja auch noch so einen kleinen Azure-Account, wo ich Bisher nicht viel gemacht habe dabei und dachte mir, das soll ja auch über OpenAI, über Azure OpenAI gehen, wie kann ich denn das ansprechen? Gut, das war jetzt eine größere Aktion, bis man erstmal durch dieses Frontend da durchkommt, was man alles einrichten muss, aber mit Hilfe vom GitHub Copilot habe ich das auch geschafft und dann kann ich jetzt eben wechseln, kann sagen okay, die Anfrage schickst du jetzt mal zu OpenAI oder schickst du sie zu Azure OpenAI und dann kann Grock sagen, aber Grock müsste das auch machen können. Und dann kam irgendwas, wo mir jemand gesagt hat, hey, es gibt ja auch Modelle, Sprachmodelle, die kannst du lokal begreifen. Also Sprachmodell lokal herunterladen Meta ist ja da ganz weit vorne mit dem Lama 3 und so weiter. Oder auch Microsoft mit seinem Vieh-Modell. Und dann dachte ich mir auch, Modell lokal herunterladen, probiere doch mal. Das ist nun absolut einfach, weil es gibt so drei gängige Tools dafür. O-Lama, LM-Studio Oder GPT for All. Das sind so die drei Tools. Das einfachste ist LM Studio. Das lädt man sich runter auf seinen Mac oder auf seinen Windows PC oder auf seinen Linux. Startet einfach die Applikation dann kriegt man ein schönes Frontend, wo man sagen kann, okay, hier kannst du mal gucken, welche Modelle es gibt. Dann klickst du hier rauf dann lädt sich das Modell runter Hier hast du eine Funktion, da kannst du einen Chat starten, sagst dann, welches Modell du, was du runtergeladen hast, eingebunden haben willst und dann hast du ein Chatfenster und dann kannst du loschatten und kannst mit diesem Modell lokal reden. Das ist ein richtiger Spaß, weil du kriegst dann doch nochmal einen tieferen Einblick, da kommen halt kleine Modelle darunter und mit denen kannst du dann lokal arbeiten. Und dieses LM Studio hat dann auch noch eine Funktion eine API, das heißt du kannst ihn lokal als Server starten lassen Und dann kann ich meine Skripte die ich bisher oder meine Prompt, die ich bisher an Open Air geschickt habe, dann kann ich eben sagen, jetzt schick die nicht nach Open Air, sondern schick die an meinen lokalen Server, wo mein lokales Modell im Hintergrund arbeitet und mach das dann. Und das macht er auch. Und das ist schon für mich faszinierend Und das alles mache ich auf meinem MacBook Pro M1 mit Silicon. Das ist halt das Coole was Apple irgendwie schon sehr vorausschauend gemacht hat, dass sie ihre eigenen... Chips gebaut haben und jetzt nicht wie Microsoft die Snapdragons erstmal die TPU und so weiter alle nachbauen müssen und nachrichten müssen, damit die Hardware nachkommt. Denn diese MacBooks und auch mein Mac Mini, der mal knapp 800 Euro gekostet hat, kann diese Modelle lokal laufen lassen. Das ist dann schon mal nochmal so eine Faszination wo man sagt Wow die neueste Technologie das neueste Sprachmodell von Microsoft. Einen Tag später läuft das hier auf meiner kleinen Kiste und ich kann dann lokal damit arbeiten. Das ist schon faszinierend.

Michael Plettner: 21:20

Hast du denn Unterschiede festgestellt zwischen den Ergebnissen, wenn du es Richtung Large Language Model schickst oder zu einem Small Language Model?

Michael Greth: 21:29

Ja, natürlich. Das ist verratet, ja. Und zwar aus mehreren Gründen. Zum einen kann man sich natürlich nicht mit dem Chat-GPT-4o vergleichen weil das natürlich eine ganz andere Power im Hintergrund hat. Und weil diese Modelle auch riesig sind. Ich weiß nicht, der hat 400 Milliarden Tokens oder Parameter. So ein Sprachmodell was auf meinen 16 GB RAM-Macbook passt, das kann so im Schnitt hat das so 8 Milliarden Parameter... Oder auch kleinere Modelle, da können wir gleich nochmal was dazu sagen. Also ein V3 hat ungefähr 4 GB groß und kann dann lokal quasi heruntergeladen werden. Und ist auch, so ein V3-Modell ist ja gerade so ein Small-Language-Modell ist ja nicht mehr als dieser großen, sondern extra von Microsoft auch gebaut worden. Damit man es halt lokal betreiben kann. Das verbraucht wenige Energie. Das kann auf kleineren Devices laufen. Und die Dinger sind aber auch optimiert auf so Kernfunktionen. Das heißt, der kann gut Konversationen, der kann vermünftig formulieren, der kann halbwegs gutes Reasoning. Dafür hat er nicht dieses ganze Wissen im Hintergrund. Aber für so Standardanwendungen, wo ich sage, mach mal eine Zusammenfassung davon, hol mal die fünf Punkte daraus. Dann kommen die auch raus in einer, ich sage mal, okay Qualität Natürlich nicht vergleichbar mit einem Chat-GPT-4.0, aber in vielen Fällen brauche ich das auch gar nicht. Und insofern ist das schon cool zu sehen. Es hat immer seine Anwendungsszenarien und trotzdem habe ich immer natürlich noch Chat-GPT-4.0 dabei, aber trotzdem, ich kann, was für mich zum Beispiel eine coole Applikation ist, auch dieses Lokalaustausch, wenn man in so ein Agentensystem eintritt, Wenn man die über eine Cloud-Lösung laufen lässt, wo also verschiedene Agenten verschiedene Subagenten bedient und die machen dann gemeinsam, lösen sie eine Aufgabe, so Crew-AI und so weiter, coole Sachen. Allerdings sind die extrem teuer wenn man die laufen lässt, weil die unheimlich viel Rechenzeit verbrauchen. Und mein erstes Test hatte damals, ich habe dann immer so, weiß ich was, pro Tag hatte ich vielleicht 20, 30 Cent bei OpenAI. Und an dem Tag wo ich das mal ausprobiert habe, 25 Minuten lang, wo der da gesagt hat, so richtig ist das noch nicht. Zwei Tage später mal geguckt, was mein Account da macht und es waren irgendwie 8 Euro, die er da abkassiert hat. Dann habe gesagt, okay, das muss ich dann nochmal richtig checken bevor ich das mache. Wenn ich das aber lokal mache, kann ich die Kosten abdecken. Und wenn ich jetzt natürlich lokal sagen wir mal, eine etwas andere Hardwaremaschine dahinter packe vielleicht mit größerem Rampen. Und vielleicht auch mit einer größeren Technologie oder ich gehe auf eine Windows-Maschine rüber, die dann auch eine Nvidia-Karte laufen hat, kann ich mir natürlich auch von Hugging Face, da, wo viele dieser Modelle gehostet sind, auch mal ein 70-Milliarden-Parameter-Modell von Lama 3 runterladen Und dann habe ich schon ein richtig kräftiges Modell was ich auch lokal nutzen kann. Aber allein auf dem MacBook, so im kleinen Umfang, ist das... Schon mal richtig cool. Und die Modelle gehen runter. Mein kleinstes Modell, was ich derzeit habe, ist ein Qen-Modell 2, was nur noch 500 Millionen Parameter hat. Das ist ungefähr 400 Megabyte groß. Das ist aber auch, ich sag mal, das ist, wie sagt man das jetzt, ohne ins Fettnäpfchen zu treten. Ich sag mal, er ist einfach gestrickt und ist auf einfache Lösung möglich. Aber ich kann mir durchaus vorstellen, Dass es in einem Szenario, wo es auf Sparen ankommt, wo ich auf Datensparsamkeit machen muss, wo ich ganz präzise Anfragen habe, mit dem Ding gut arbeiten kann. Und was man mit diesen lokalen Modellen auch noch machen kann, was auch ziemlich coole Einsichten gibt, ist, es gibt ja mittlerweile, viele Modelle haben ja eine gewisse Zensur drin, beziehungsweise ihre eigenen ethischen Ideen Parameter, die da eingesetzt sind. Also wo du gefragt hast, um den Atombaum, und du sagst, nee, mach ich nicht. Also kannst du ja Copilot tragen oder so weiter. So, nun gibt es aber Methoden um aus diesen Modellen sozusagen das wieder rauszubauen, rauszutrainieren. Frag mich nicht, wie es geht. Es gibt da so Dolphin, ich glaube, Eric Hartford heißt der, der hat so ein Dolphin-Modell gebaut, mit dem man sich zum Beispiel einen Lama-Dolphin runterladen kann. Dass dann eben nicht mehr diese Zensur eingebaut habe und dann ein unzensiertes Modell ist. Und mit dem kannst du dann lokal mal chatten. Und was der mir alles erzählt hat, warum die Modlandung fake ist, das war auch sehr interessant, was ich mal ausprobiert habe. Und dann hast du ein Modell was unzensiert ist, was dann, wie gesagt, alles beantworten kann. Der positive Effekt davon ist, du kannst zum Beispiel deine eigenen Regularien dem Modell antrainieren, sodass es auch nach deinem Modell Vorstellung arbeitet, was übrigens bei diesen Modellen, wenn sie gut sind, im Sternchen-Text unten drunter auch immer gesagt wird, wir empfehlen, ein eigenes Responsible AI draufzubauen, damit das Modell auch vernünftig und auch responsibel arbeitet. Oder aber du kannst halt für wissenschaftliche Zwecke oder ähnliches hast du ein Modell, was dann eben nicht irgendwelche Vorurteile oder Bias oder Kernzahlen eingebaut hat, die dann vielleicht deine wissenschaftlichen Ergebnisse Also sozusagen beeinflussen. Das ist schon, und das ist einfach, ich brauche das nicht unbedingt, aber es gibt ja ein unheimliches Verständnis für diese Modelle und auch wie das funktioniert, wie klein das sein kann. Und das ist schon etwas, was so zum anderen, ich habe viele meiner Transkripte auch mittlerweile lokal gemacht und schaue mir das halt entsprechend an und sind für das, was ich brauche eigentlich völlig ausreichend

Ralf Richter: 27:08

Bei so SLMs sehe ich den Anwendungsfall wie du auch, dass das lokal ausgeführt wird. Hochspannend finde ich natürlich, also im Gegensatz zu einem LLM, habe ich bei einem SLM wahrscheinlich eher den Anspruch dass da irgendeine Aktion dann damit ausgeführt wird. Also sprich was wir heute schon alles von Alexa und Siri und Google und so weiter kennen, Dass ich das dann auch irgendwie in solche Systeme einbauen kann, wie Smart Home oder so, wo ich dann einfach nicht mehr genau die Phrase treffen muss, um die Aktion auszuführen, sondern ich auch mit Synonymen arbeiten kann etc. oder Bedingungen stellen kann, um diese Aktion dann auszulösen. Und das finde ich extrem smart und auch extrem spannend an der Stelle und finde es cool, dass du damit schon ordentlich rumgespielt hast. Da müssten wir uns noch mal näher unterhalten, auf jeden Fall. Was sagst du Michael?

Michael Greth: 28:11

Definitiv Was ja auch noch passiert, weil du sagst diese kleinen Maschinen, ich weiß nicht, war es das Qen-Modell oder es war noch ein anderes, das ist sogar schon möglich, es auf dem Raspberry Pi 5 laufen zu lassen und tatsächlich gibt, habe ich natürlich gleich nachgeguckt er ist ein Raspberry-Buzzler, es gibt tatsächlich auch schon Eine Ergänzungsplatine wo so eine TPU für ein Raspberry Pi drauf ist. Also halt das, was jetzt auch in die Co-Pilot-Plus-PCs eingebaut werden soll. Also so ein spezieller Prozessor der diese Matrix-Operation super bauen kann. Also dann kannst du das komplett auch auf Raspberry Pi 5 laufen lassen. Auch das ist schon faszinierend zu finden. Und ihr habt ja, glaube ich, im Co-Panel Plus schon PC schon besprochen. Ich meine, da sind 40 verschiedene, über 40 verschiedene Sprachmodelle drin. Und das sind halt diese speziell auf Funktion getriggerte kleinen Modelle, die dann auf dem Windows-PC lokal arbeiten. Da wird vielleicht, ohne jetzt genau das spezifisieren, da wird vielleicht ein kleines Sprachmodell drin sein, was optimiert ist, dein PC an deine Einstellung einzupassen. Also wenn du sagst ich habe hier... Schlecht sehen, mach den bitte mal so, dass ich jetzt hier die Schrift besser erkennen kann. Dann springt genau dieses kleine Modell an und baut dir dann aus den vielen Optionen die es ja im Windows-PC gibt, genau das automatisch zurecht. Und das läuft dann auch eben lokal Da willst du auch keine Cloud-Verbindung mehr haben, weil wenn du es lokal abarbeiten kannst, brauchst auch keine Internet-Verbindung mehr. Das ist ja auch noch was was hinzukommt. Und ich kann mir vorstellen, ein Copilot-Plus-PC, der immer nur am Internet hängen muss, Das wäre jetzt auch nicht so gut. Da möchtest du schon eine gewisse Offline-Funktionalität haben und trotzdem sowas auch nutzen können. Und Apple macht das ja mit seinem, wie heißt das, Apple Intelligence, machen die das ja genauso. Da sind leute kleine Modelle dran. Also es ist ein absoluter Trend, der zu diesen kleinen Modellen, diesen kleinen spezialisierten Modellen geht. Und das passiert eben nicht nur auf kleinen End-Devices sondern eben auch in den PCs, die jetzt kommen.

Ralf Richter: 30:18

Ja, ich finde die Entwicklung an der Stelle total witzig Dass es zuerst mal die großen Modelle gibt und daraus jetzt dann quasi herausgelöst oder mit den Trainingserfahrungen dann die kleinen Modelle entstehen Das finde ich mega witzig aber auch super sinnvoll tatsächlich an der Stelle.

Michael Greth: 30:36

Ja, und vor allen Dingen ich sage mal so, wenn wir nochmal vielleicht auf dem Microsoft 365-Gruppalett in diesem Zusammenhang zu sprechen kommen, es ist ja, ich sage mal, Ein Geheimnis es ist nicht so klar kommuniziert, was eigentlich in Microsoft 365 Copilot im Hintergrund arbeitet. Das heißt immer, ja, da ist ein großes Sprachmodell drin und wir haben halt den Semantic Index und das ist es halt und da ist von Microsoft customised damit das Ganze secure, compliant und so weiter ist. Aber wenn man sich das mal so überlegt, naja gut, da wird auch ein Sprachmodell arbeiten, das ist heftig angepasst da wird es aber auch zum Beispiel kleine, ich sag mal so, Ob es sie jetzt schon gibt oder nicht, aber es wäre durchaus sinnvoll, ich hätte ein spezielles Sprachmodell, was richtig gut ist im Erstellen von Präsentationen Weißt du, dass nicht nur irgendwie eine Folie hinkloppen kann, sondern dass die Erkenntnisse von Storytelling, wie man Sprache aufbaut, wie man Slides gestaltet und Ähnliches. Also richtig gut in PowerPoint wäre, dass Brüste keine Excel-Kenntnisse haben, da kann ich darauf verzichten. Also insofern könnte man sich durchaus vorstellen, Dass man ja sagt, warum gibt es so viele Co-Piloten in Microsoft 365, dass so eine kleinen Experten, die ich überall drin habe, die dann vielleicht auch weniger Ressourcen verbrauchen, weil die nicht immer die große Maschine anschmeißen müssen, dass die so im Hintergrund natürlich optimiert darauf sind, auf die Anwendungsfälle und mir dann noch bessere Dinge liefern. Also das ist einfach so für mich wo ich denke, das wäre vielleicht ein guter Ansatz, wenn man in diese Richtung das Ganze weiterentwickelt. Was nicht ist, kann

Ralf Richter: 32:09

er noch werden.

Michael Greth: 32:11

Ja, aber das siehst du ja auch, das ist ja praktisch der gleiche Ansatz, den ich bei Apple Intelligence gesehen habe, als ich die Demo da gesehen habe, dass jetzt du da vorne sagst hey, das sieht ja smart aus, das ist zwar jetzt von der Funktionalität her sicherlich noch, macht das gar nicht so viel, aber das sieht ja echt smart aus, das ist so richtig integriert, das ist und aufgrund meiner Erfahrung jetzt mit diesen kleinen Sprachmodellen und sozusagen dieselben Modelle mal selber zu betreiben und zu gucken, wohin eigentlich die Entwicklung geht, Und da sage ich mal, eigentlich ist das eine gute Entwicklung. Und so kann ich mir das auch vorstellen, dass das in diese Richtung weitergeht. Ohne jetzt definitiv sagen zu können, dass es so ist. Aber das ergibt für mich in diese Richtung Sinn. Und ja, nichts Sinn.

Michael Plettner: 32:56

Ich finde es schön, dass du diesmal das Thema Apple nicht dazu gebracht hast. Ich glaube halt auch, dass das ein guter... Sonst ist das immer mein Part. Deswegen... Ich glaube, dass das tatsächlich ein guter Weg ist, um einfach aufzuzeigen dass es andere Möglichkeiten gibt. So dieses, was Apple da verkauft ist ja so eine Art hybride AI-Lösung. Also dass sie sagen, das, was wir eben nicht mit dem SLM lösen können, da schicken wir es raus Richtung Cloud und haben dann LLM dahinter Dass das tatsächlich cool ist. Und dann sind wir bei den Use Cases die Ralf mit angebracht hat, nämlich auch die Möglichkeit zu sagen, wir packen das auf andere Geräte und dann haben wir da einen größeren Mehrwert draus. Ich sehe auch schon den Mehrwert.

Michael Greth: 33:51

Das war jetzt auch, was ich vorhin gesagt habe, stimme ich dir voll überein. Also es wird immer diese Kombination Hybrid geben. Klar brauche ich natürlich, wenn ich auch auf dem Co-Pilot plus PC Mit Microsoft 365 Copilot arbeiten will, dann muss ich halt auf meine Daten in der Cloud zugreifen. Das ist ja völlig klar Aber ich denke mir, viele Funktionen die du auf dem Copilot Plus dann mithilfe von Generative AI bieten kannst, also, weiß ich was, Maschine konfigurieren oder fragen, warum funktioniert das nicht oder andere kleinere Dinge, weiß ich was, ein Lokal was zeichnen willst, Dann könnte wahrscheinlich auch das lokale Paint mit dem lokalen Ding erst mal unterstützt werden. Und wenn es dann gar nicht mehr weitergeht, ja, hier muss ich jetzt nochmal abfragen. Also man könnte wahrscheinlich auch eine ganze Menge von Traffic und so weiter vorab sozusagen auf den Rechner verlagern. Dann ist das halt eine Frage, wie man das machen kann. Aber mit diesen kleinen Modellen hast du überhaupt erst mal die Möglichkeit, es auf diesen lokalen Maschinen laufen zu lassen. Und um dich hier mal als Apple-Fan, ich bin ja auch ein Fan von Apple, Wenn ich mir angucke dass ich mir dieses MacBook vor zweieinhalb Jahren gekauft habe, mit diesem M1-Chip da drin. Ich muss mal sagen, das ist so eines der feinsten Stück Technik, die ich je benutzt habe. Vor allen Dingen weil ich habe den bisher immer noch nicht gehört, dass er anfängt zu rauschen. Und allein dieses mit dem Apple Silicon, das ist so performant für meine Anwendung. Und ich kann darauf diese Sprachmodelle laufen lassen. Und ich müsste jetzt... Auf meinem Windows-PC kann ich das im Moment gar nicht laufen lassen, weil ich gar nicht die richtige Technik dazu habe. Und das ist schon richtig, richtig smart. Und das ist schon richtig cool. Aber auf der anderen Seite, gut, du bist dann halt in der Apple-Welt. Und wenn man zum Beispiel sieht, was man dort an Grafiken hätte machen können, gut, da hast du drei, weiß ich was, Comic-Style oder drei verschiedene Grafikstile. Damit kannst du was erstellen. Sei froh damit, hübsch reicht, fertig, aus. Und den Rest müssen wir uns halt um Copyright und alles andere nicht kümmern, weil wir können das dann ein bisschen entsprechend eingrenzen.

Michael Plettner: 35:50

Das ist halt typisch Apple-Marketing. Wir können gerade nicht mehr, aber wir verkaufen das mal so, als würden wir damit die Welt versuchen zu retten.

Michael Greth: 35:58

Oh, cool weil du mich ja nach der Erfahrung der letzten 18 Monate fragst. Ich meine, da war Microsoft ja auch nicht schlecht im Marketing. Ich muss sagen, Marketing-Architekten haben sie ja grob alle richtig gut vermarktet und wir so als MVPs vor Ort... Müssen dann immer den Realitätsabgleich nicht mal vorsichtig auszudrücken.

Michael Plettner: 36:20

Das ist eine schöne Beschreibung ja. Ja. Jetzt haben wir relativ viel über das, was du auf deinen lokalen Geräten mit hast, was du an Erfahrung auch mit hast und Use Cases. Siehst du AI für die Industrie oder Gar nicht mal auf eine Branche runtergebrochen, tatsächlich eher für Industrie allgemein als den Heilsbringer. Und damit wird jetzt alles besser,

Michael Greth: 36:51

schneller, weiter,

Michael Plettner: 36:53

höher.

Michael Greth: 36:54

Also ich bin lange genug dabei, dass ich an Heilsbringer nicht mehr glaube, weil ich noch nie geglaubt habe. Auf der anderen Seite ist es aber so, dass ich sage, also allein diese Funktion, die ich ganz am Anfang schon gesagt habe, Sprachkommunikation, Ja, das kann ich natürlich in jedes Teil einbinden. Ich brauche kein Handbuch mehr, ich kann dann vielleicht mit dem Gerät reden. Und wenn das irgendwann so klein ist, neulich hat mich jemand gefragt, nach einem Vortrag der gehalten hat wir haben Frontline-Worker, wir sind im Tiefbau, wir sind unter der Tage, unter Erde und wir haben viele Nationen die da arbeiten. Gibt es eigentlich ein Gerät was in Echtzeit Sprachübersetzung machen kann, damit sich der türkische Mitarbeiter mit dem deutschen unterhalten kann oder ähnliches? Und zwar ohne Cloud, ohne alles. Ich vermute mal, das könnte man tatsächlich mittlerweile mit der vorhandenen Technologie auch schon machen, aber ich habe da jetzt keine fertige Lösung draus. Und insofern, klar ist es natürlich für das Thema, was natürlich diese KI bietet eine Kommunikation zu schaffen, mit den Daten zu sprechen. Dafür müssen deine Daten natürlich okay sein. Das können in der Industrie... Daten von Maschinen sein oder ähnliches. Oder, keine Ahnung, habe ich mal gelesen, die haben Mikrofonaufnahmen von irgendwelchen Schneide und Montagemaschinen gemacht und konnten anhand der Auswertung der Tonprofile erkennen, ob sich da was in Zukunft negativ entwickeln wird, weil es da entsprechende Erfahrungen gibt. Das haben die vor ein paar Jahren mal irgendwie mit Hilfe von KI gemacht. Ich kann mir durchaus vorstellen, dass du Da auch Ähnliches machen kann. Also ich denke mir, das wird gerade im industriellen Bereich, kannst du mit diesen Modellen sicherlich vieles erreichen, was so die Auswertung betrifft was die Kommunikation, Wartung und Ähnliches betrifft weil einfach diese Sprache da ist. Und wenn du ihn mit den speziellen Daten zu diesem Maschine oder zu diesem Prozess betreust, kann er dir einfach nochmal viel bessere Aufgaben vor Ort geben. Und wenn du dann natürlich nochmal siehst, dass das Ganze ja mittlerweile multimodal wird, Dass du eben auch zum Beispiel ein Foto mal hinschicken kannst und sagen kannst, guck mal hier, so sieht es aus, was muss ich jetzt machen? Und das sagt dir dann gleich, was du machen musst, ist natürlich was anderes. Meine Lieblingsanwendung aus dieser Woche, Fotos machen auf Konferenzen von den Slides die Vortragen an die Wand werfen. Und dann gleich mal zu fragen, zum Beispiel wenn jemand dir an die Wand wirft, hier ist unser Framework, wie wir SharePoint eingefügt haben, in sechs Schritten. Und dann machst du ein Foto davon, schickst das mal gleich an Chat-GPT und sag mal, so bitte, das Framework finde ich klasse, wie kann ich das in meinem Unternehmen einbinden? Und du kriegst dann ungefähr fünf Seiten an ausführlicher Erläuterung mit welchen Schritten, mit einem Zeitplan, was du machen kannst, ohne dass du weiter gefragt hast. Dann sagst du schon, oh das war los, das war schön, das war nett. Das sind so Dinge, die, ich denke mir die dann auch im industriellen Bereich ganz klar weit vorne liegen. Und der industrielle Bereich hat ja immer schon KI genutzt Intensiver genutzt und wenn jetzt halt dieses Sprachmodell noch hinzukommt mit den Funktionen halt der Erkennung, der Sprache und dem Reasoning dann wird das nochmal einen ganz anderen Drive geben.

Michael Plettner: 40:12

Ich stimme, ich bin da völlig d'accord, gerade was die Industrie angeht Ich habe ganz oft schon Anforderungen gesehen und gehabt, die gesagt haben, Wir hätten gerne Vergleichsmechanismen. Das, was du gerade gesagt hast mit Ton, kenne ich schon von Qualität, weil einfach globale Unternehmen in unterschiedlichen Regionen fertigen und die Qualität auch sicherstellen wollen. Und da sehe ich relativ viel Nutzen weil das eben antrainieren lässt. Also ich habe tatsächlich etwas, was dem Standard entsprechen muss. Und dann habe ich die Möglichkeit, dort anzupassen Eine schnelle einfache Prüfung zu machen, die vorher sehr aufwendig war und die viele Probleme in den Fertigungsstraßen eben mit rausnehmen kann. Auswertung von IoT-Informationen Also habe ich irgendwo etwas, was vielleicht am Anfang einer neuen Maschine einen Produktionszeitraum von drei Sekunden pro Stück hat. Und je länger sie läuft, desto stärker habe ich dann den Effekt dass es einfach 3,2, 3,5 Sekunden dauert weil ich einen Verschleiß feststelle. Da kann ich dann anfangen zu sagen, okay, die letzten Maschinen dieser Art haben bei einer Grenze von 3,7 angefangen mit der Produktion Teil XY, dann musste getauscht werden. Und dann kann ich ganz gezielt Wartungen in der Richtung durchführen. Ich glaube, da ist nochmal ein ganz, ganz großer Punkt. Das mache ich aber typischerweise nicht mit einem OpenAI oder mit einem Chat-GPT.

Michael Greth: 42:02

Ja und nein. Die Daten, die du da sammelst, sind natürlich, das ist halt Datensammlung. Also es ist eher komplette Daten, weil es ja relativ klar ist. Was du natürlich, wenn du diese Daten irgendwo gesammelt hast, alles gemacht hast, dann kannst du natürlich dann solche Fragen stellen. Guck doch mal über die Daten drüber weg. Das sind die Zeitabläufe oder ähnliches. Erkennst du da irgendwas drin? Hast du so dieses, ich habe mal jemand, der mal einen kritischen Blick drauf wirft So was kann ich mir gut vorstellen, dass es auch mit entsprechenden Datenmodellen gibt, was ja auch in Excel, wenn das mal richtig läuft, in den Co-Pilot mit eingebaut werden will, dass du sagen kannst, kannst du mir mal sagen, was sind denn hier vielleicht Auffälligkeiten, die in diesem, In dieser Tabelle auftreten die ich bisher noch nicht gesehen habe. Da, denke ich mir, liegt auch mal ein Punkt drin, wo man die KI oder gerade auch diese Sprachmodelle noch mal zusätzlich einsetzen kann. Auf der anderen Seite muss man halt immer gucken, wenn es um Datenerfassung, Auswertung geht, ob man das nicht eigentlich schon mit herkömmlichen Mitteln machen kann, weil natürlich, wenn du feste Zahlen und Werte hast und die irgendwie vergleichen willst, Dann brauchst du kein Wahrscheinlichkeitsmodell, was dir nochmal die Zahlen und Wahrscheinlichkeitspasses ausrechnet, so nach dem Motto. Weil dann kannst du es vermutlich auch mit einer vernünftigen Auswertung und Datenanalyse auch so aus den Daten herausnehmen. Kannst dann aber vielleicht mit dem GPT-Modell oder mit deinem Sprachmodell einfach nochmal einen Frontends schaffen. Wo auch jemand, der vielleicht noch ganz andere Anfragen an diese Daten hat, noch mal kommunizieren kann, wo vielleicht keine Auswertung drin ist. Das kann ich mir gut vorstellen. Ja, das

Ralf Richter: 43:44

sehe ich genauso, Michael, dass man das nicht mit einem LLM oder SLM löst und dass man hier eher mit einem klassischen Machine Learning drangeht und da das Zauberwort heißt, was Michael beschrieben hat oder Michi beschrieben hat, damit wir euch auseinanderhalten können. Ja. Das ist einfach ein Predictive-Maintenance-Ansatz und der ist sehr valide und hier würde tatsächlich AI zum Einsatz kommen, allerdings keine Gen-AI, also keine generative künstliche Intelligenz, sondern ein Machine Learning würde dort zum Einsatz kommen mit der Sicht auf die Daten, die Michi gerade angesprochen hatte, um daraus dann zu folgern Ob wir hier nicht hergehen und sagen, wir müssen das Werkzeug austauschen bevor es kaputt geht und der Ausschuss höher wird, weil wir haben jetzt die Produktionszeiten gemessen und stellen fest, die Produktion dauert deutlich länger oder was auch gern genommen wird, ist, der Ausschuss würde höher werden. Also die Qualität des Produkts leidet natürlich, wenn das Werkzeug langsam aber sicher kaputt geht. Und da finde ich den Ansatz gut, der Michi da reingebracht hat und gesagt hat, hey, hier haben wir es mit einem anderen Modell zu tun und hier müssen wir da anders drauf schauen. Finde ich durchaus valide aber ich teile deine Einschätzung, dass es absolut kein Use Case ist für LLMs.

Michael Greth: 45:15

Ich sage mal so, Element, das eignet sich halt immer dann, wenn du diese Sprachinteraktion brauchst wenn du vielleicht so ein Verständnis Reasoning in der Richtung nutzen willst und wenn das an der Stelle Sinn macht, aber wie gesagt, oder Sinn ergibt.

Michael Plettner: 45:44

Sorry Ralf das musst du leider schneiden. Danke dir erstmal Michael. Es war für mich ein sehr interessanter Einblick, auch was das Thema LLMs, SLMs angeht was tatsächlich auch praktische Nutzen angeht Ich glaube, das ist etwas, was aus diesem ganzen Spieltrieb ganz oft vernachlässigt wird. Weil ganz oft einfach nur geschaut wird, hey, wo könnte ich denn jetzt anfangen? Wo könnte ich denn jetzt einfach mal ein bisschen damit rumspielen und dann tatsächlich auch einen praktischen Nutzen draus ziehen? Das ist, glaube ich das, wo viele noch dran kranken, wo auch teilweise Unternehmen noch ein Problem mit haben, die passenden Use Cases zu identifizieren. Wenn du jetzt noch einen Satz in Richtung unserer Hörerschaft mitgeben möchtest, was wäre das?

Michael Greth: 46:41

Spielt es aus? Spielt rum? Zum einen, wenn man ein bisschen mit IT Spaß hat, ist es richtig spaßig zu sehen, wie du mit diesen Modellen lokal arbeiten kannst. Und es bringt tatsächlich ein anderes Verständnis für diese ganze KI. Und du siehst einfach Dinge nochmal anders von der Anwendung her. In der Kommunikation mit Anwendern nochmal anders reden, weil du einfach einen anderen Blick nochmal auf das ganze System bekommst, weil das finde ich schon mal sehr, also richtig interessant, ohne zu sagen, dass man das jetzt tiefgehend verstehen muss, aber man kommt schon dahinter und sieht immer, okay, das machen die deshalb, ah ja, verstehe ich und da muss ich noch warten, logisch gibt es noch nicht und so weiter. Ja und dann, das ist so. Und wie gesagt, es ist im Grunde genommen kein Problem. LM Studio oder Olamer runtergeladen kurz installiert in fünf Minuten, wenn ihr einen entsprechenden Rechner habt, der das unterstützt und auch vernünftigt, läuft das lokale Modell und ihr könnt loslegen.

Michael Plettner: 47:52

Sehr spannend. Vielen, vielen Dank nochmal, Michael, auch für die Einblicke.

Michael Greth: 47:58

Ja

Michael Plettner: 47:58

gerne.

Ralf Richter: 48:00

Ja, ich bedanke mich auch ganz herzlich, dass du unser Gast warst und dir die Zeit genommen hast. Mit uns darüber zu quatschen und uns deine Erfahrungen und Sicht auf die Dinge zu geben. Super interessant. Viel zu kurz in dieser Zeit, hätte ich jetzt gesagt. Das ist zumindest mein Gefühl. Ich glaube, ich hätte noch eine dreiviertel Stunde länger mit dir ratschen können über das Thema. Ja, und damit sind wir wieder zu einem Ende unserer Episode gekommen, Michael.

Michael Plettner: 48:27

Magst du dich an unserer neu gewonnenen Schlussformel versuchen oder soll ich mich versuchen?

Ralf Richter: 48:36

Ich habe das jetzt schon ein paar Mal gemacht. Ich sehe den Ball jetzt auf deiner Seite liegen.

Michael Plettner: 48:42

Aha, ich wusste dass das kommt. Zum Glück gibt es ja ein Transcript von Aufnahmen. Deswegen bin ich natürlich vorbereitet hier reingekommen. Ich würde damit sagen, Dankeschön nochmal Michael und wir sprechen uns bei der nächsten Episode. Stay tuned, stay interested, sign up, listen up, here we go, bye bye, take care of all, thanks for listening.

Ralf Richter: 49:08

Bye bye, Dankeschön.