Hallo und herzlich willkommen zum Decode AI Podcast. Hallo Ralf. Steifer geht's fast nicht. Servus, Zamma Servus, Micha. Dann lassen wir mal hier noch arrangieren. Ich habe nämlich ein bisschen was mitgebracht. Wir haben beim letzten Boah! Mal über Vibe Coding gesprochen. Ja, die Be Mad Method vor allen Dingen, wir da unter die Lupe genommen. Nee, nicht nur. Du hast ja quasi noch einen Ansatz mit reingebracht. Genau, ich habe ja ganz blauäugig, wie ich manchmal bin, davon gesprochen, dass ich über Paperclip angefangen habe, dieses Wipe Coding aufzusetzen, Paperclip AI. Und dann hast du mir ans Herz gelegt, dass ich mich mal mit der BIMAD Methode auseinandersetzen sollte. Details dazu auch. Das war jetzt eine sehr, kurze Zusammenfassung, wo die Mehrwerte sind und alles. Das findet ihr in der vorherigen Episode. Aber diesmal wenn wir Mehrwerte gefunden haben. Ja, mehr Werte und eine Challenge. Und über diese Challenge würde ich heute ganz gerne reden. Nach dem Motto, würde das mal gucken, ob das umsetzt. Also die Challenge, das letzte Mal in meine Richtung. Ja. Spoiler, ich habe umgesetzt, umsetzen lassen. das ist ja das perfide mit AI. Keine Ahnung, was man noch selbst macht. Dann wollten wir ein bisschen über das Thema Kosten sprechen. Das Thema Kosten, ROI. haben wir im Vorgespräch schon ein paar unterschiedliche Wahrnehmungen dazu Du hast schon mal eine herausfordernde Frage, aber zumindest schon mal diese Gewissensfrage gestellt. Die würde ich auf jeden Fall auch gerne noch hier ... mal mitdiskutieren und vielleicht finden wir dann auch so einen Weg, zu reden, was man jetzt damit macht oder nicht. Ja, haben ja letztes Mal schon ziemlich viel auch über Gewissen teilweise gesprochen, weil Mhm. weil künstliche Intelligenz einfach einen enormen Energiehunger hat. Also können wir diese Frage nicht einfach immer wieder ausklammern. Das ist einfach mit dem heutigen Bewusstsein meiner Meinung nach nicht möglich und auch nicht fair, das zu tun. Grüß dich! Ja, stimmt. hast es ziemlich gut zusammengefasst und wir haben uns über deinen Paperclip-Ansatz unterhalten, über die BeMAD-Method. Ich hatte versprochen, dass ich einen neuen Ansatz mitbringe für diese Folge und das habe ich gemacht. Wir wollten ja quasi über Miniserien sprechen. Wir haben über Kosten gesprochen. Du hast ja glaubt das böse Wort Return of Invest gerade schon so bisschen angeteasert. was ja für die AI-Welt gerade so ein Zankapfel ist. dann hatten wir noch gesagt, wir müssten als Enterprise ja irgendwie auch als Nutzer in der Lage sein zu monitoren, wo gerade mein Verbrauch steht. Und haben gesagt, dass es gar nicht so einfach ist, wenn das Unternehmen das nicht mit einem teilt oder man diese Berechtigung hat. Und dann hatte ich versprochen, eine andere Möglichkeit mitzubringen, wie man quasi Vibe Coding voranschieben kann. Und auch das habe ich getan. Also ihr seht schon wieder eine vollgepackte Folge mit interessanten Sachen, die nicht nur Softwareentwickler interessant finden. richtig zur Erinnerung. es Software entwickeln geht, dann habe ich zwei linke Hände. Das ist ja der Grund, warum ich mit diesem Paperclip angefangen habe, mit Paperclip AI, weil ich eher so in die Richtung gehen würde und sage ich habe hier ein Wunschkonzert was passieren soll und dann soll das die AI entsprechend machen und genau so las sich das ja auch von der Beschreibung her. Ich habe beim letzten Mal schon grob erklärt, es baut dann so eine Architektur auf, eine Firmenarchitektur mit CEO, CTO und darunter dann den Agents, die sinnvoll sind oder nicht. diese sinnvoll Agents, da hast du ja gesagt, BIMAD ist ja eine Methodik, mit der man das sehr gut im Agentic Umfeld mit umsetzen kann. Das habe ich gesagt. Dann liebe AI, hier bitte guck dir diese Methodik an. und baue die Struktur bitte so dass es nach der Methodik läuft. Und rausgekommen ist, ich habe einen neuen Agent bekommen, einen Product Manager. Oh, nur einen Agent. Ja, der Rest war anscheinend schon soweit okay, weil ich hatte ja schon jemanden, einen Entwickler, hatte schon jemanden für die Quality Assurance Mmh. und dann einen UX Designer. Das heißt, ich hatte da schon laut dem, was da als Grundrollen schon mal mit bei war, schon mal relativ viel. Und dann habe ich gesagt, ja wunderbar, dann haben wir ja jetzt alles beisammen, dann leg jetzt mal los mit der Entwicklung. Und nach nur 10 bis 20 unterschiedlichen Kommandos, die ich da noch mal nachreichen musste und anbinden machen konnte, lief das auch. Also es lief wirklich Hm. zack und ein paar Tage später, weil ich lasse ja relativ viel mit meinen lokalen Modellen laufen. Da kommen wir nachher bei dem Thema Kosten noch mal drauf zurück. Habe ich am Ende des Tages ein Produkt bekommen, was Exakt nicht das war, was ich haben wollte. Ich weiß jetzt nicht genau, das Problem nicht eigentlich in Wirklichkeit 50 cm vor dem Screen liegt, aber... Vielleicht, vielleicht, das will ich nicht ausschließen. Aber ich war ja in meiner Wahrnehmung so, ich gebe denen die Unterlagen, die schon alles erarbeitet sind. Ich lasse das rauslesen, lasse daraus einen Plan erstellen und all das wurde gemacht. Also war ich völlig schockiert, als ich dann in dieses Portal reingegangen bin, was aufgesetzt wurde, habe dann die Applikation quasi gestartet und das ist ein ITSM. Das ist Ja. überhaupt nicht das Change Management, was in diesen Unterlagen beschrieben wurde. Dann ich lieber Freund, hier CEO, jetzt guckst du dir mal bitte an, was gebaut wurde und dann guckst du dir mal an, was gefordert wurde. Und dann hat er gesagt, Mensch, ich völlig das Falsche entwickelt. Auch dieser Dialog war direkt, das war die Aussage, die Erkenntnis von... von diesem Agent-Konstrukt, was dann gesagt hat, ja, ich habe sauber was entwickelt, was völlig in die falsche Richtung ging. Hat dann alles an, was es selbst analysiert hatte, nochmal dagegen gehalten, hat mir dann wunderbar gesagt, an wie vielen Stellen, ich glaube es waren 20 von den Vorgaben, die es machen sollte, fehlgeschlagen ist. Sie haben genau fünf Sachen umgesetzt, das war, dass es eine Web-Applikation ist mit einem bestimmten Framework, damit es im Web läuft. Aber inhaltlich war es halt völlig daneben. Ja, es hilft halt nicht, wenn du nicht mit Observability drüber gehst und am Ende des Tages deine Entscheidung triffst und sie in die richtige Richtung schiebst und du hast ja... nicht die B-MAT-Method angewandt, sondern du hast jemandem gesagt. Genau, und der Unterschied ist dann schon eklatant. Also hättest du das Framework installiert und dein Repository genommen und wärst dann darüber iteriert mit B-MAT, wär wahrscheinlich das Ergebnis jetzt sehr viel näher an dem, was du hättest haben wollen, als wenn du das über den Argentic Approach gemacht hättest. Es wäre ja immer Vielleicht. noch, also quasi, könntest ja den Stand des Repositories nehmen und den Gegenversuch da machen. Würde wahrscheinlich etwas mehr Zeit von dir binden, ja. Ja, vielleicht. Sagen wir vielleicht. Ich mag mich Hehehehehe da nicht so drauf festnageln lassen, weil unterm Strich, ich glaube, hat am ganz am Anfang die Analyse gemacht und hat die dann nicht weiter berücksichtigt, sondern hat irgendwas mit Change gelesen und hat dann in die Richtung entwickelt und ja, das war alles fertig, aber es war halt das falsche Produkt. Er gesagt, ich fange jetzt nochmal neu an, hat mir noch paar Entscheidungsfragen gestellt, das habe ich alles mit Mhm. berücksichtigt, habe das dann auch alles mit eingegeben, ja wunderbar. Und das hat der CEO gemacht. Also der hat dir diese Entscheidungsfragen gestellt. Das war glaube ich der CTO an der Konstellation. Wär auch die falsche Rolle eigentlich, Ja, aber der ist derjenige, der das Ganze dann an den Entwickler weiter bzw. an den Product Manager weitergibt. Das heißt, da gab es dann ganz oft Informationen, die von den verschiedenen Rollen wieder zum CTO hochgegeben wurden, dann wiederum Fragen zu stellen, weil das dann über diesen einen Kanal mit abgebildet sein sollte. Long story short. Ich habe dann meinen Entwickler, der läuft über ein lokales Modell. Ich glaube, drei Tage lang einfach nur noch pusten hören, weil Hmpf! der hat dann angefangen, alles neu umzubauen. Hmm? Ich glaube, drei Tage war keine Übertreibung, sondern wirklich. Ich habe auf meinem Nass das Ganze laufen. Ja klar. Das hat einen OK, ein GPU damit drin. Ich weiß gerade nicht, welches. Irgendso ein Mobile-Prozessor, ein Mobile-GPU drin. Auf jeden Fall merke ich immer, wenn der arbeitet, weil dann einfach die Lüftung an. Und zwar regelmäßig. Das heißt, alle zwei Minuten habe ich dann gehört, wie die... ...gemacht hat. Und dann wusste Hehehehehe ich, okay, der ist immer noch am Arbeiten, ohne dass ich aufs Dashboard gucken musste. Und dann hat er angefangen, das umzusetzen. Und er ist noch nicht fertig. Weil noch jetzt gibt es noch ein paar technische Probleme. Aber ich meine, ich mache das ja auch eher als Überprüfung, wie gut oder wie schlecht funktioniert das. Ich nehme billigend den Kauf, dass die GPU, die ich da habe, auch in Kombination mit dem Speicher, den ich da zur Verfügung stelle, eben auch nur einen Task nacheinander abarbeiten kann. Das heißt, ich habe dort eine sehr limitierte Ressource, die ich aber zumindest mal laufen. lasse, weil auf dem Nass noch viele andere Sachen mitlaufen und habe das dann, sage ich mal, einigermaßen unter Kontrolle soweit, dass es eben nicht von den Kosten her explodiert, weil ich dann irgendeinen Cloud Service nehme, der mir das alles, ich sag mal, zu teureren Preisen entwickelt hätte. Ja. Das sind wir ja quasi schon in der Story hier mit drin für unsere heutige Session. Soll ich jetzt spoilern, was wahrscheinlich mich das Ganze bisher schon hat, schrägstrich gekostet hätte oder sollen wir damit Ja, warum nicht? warten? Also zum Verständnis, wie das Konstrukt aufgebaut ist. habe für den, ich habe gerade 1, 2, 3, 4, 5, 6. 6 Agents laufen, die alle unterschiedlich aufgebaut sind nach Befähigung mit unterschiedlichen Modellen. CTO und CEO laufen mit Cloud Sonnet 4.6, also wirklich auch in der Cloud. Erzeugen damit quasi echte Kosten und der Rest läuft mit lokalen Modellen. Das eine ist Gwen. für Koda, also Qan3 Koda 30 Billionen und Qan3 30 Billionen für quasi normale Entscheidungen. glaube, ist für den UX, der UX hat reasoning glaube ich was anderes. Long story short, ich habe dann jetzt mal gefragt, was sind denn da an Kosten aufgelaufen? Und seitdem ich das jetzt seit ein bisschen mehr als 20 Tagen benutze ist für Claude Kosten aufgelaufen von 100 Euro. Das fange ich alles über meine Subscription ab. Das heißt, das ist soweit okay. Wenig Zusatzkosten, wenig muss ich sagen, weil ich habe tatsächlich auch extra Usage, wenn es natürlich gerade am Laufen ist, dann will ich, dass es läuft. Das heißt, ich habe da bestimmt schon Echtgeld auch ein bisschen mit wenn man nur die Token betrachtet, sind es da 100 Euro. Der Cash hat das ganze von 700 Euro auf 100 Euro runtergebracht. den Cash lief es einigermaßen günstig dann. Und als zweiten Faktor habe ich mal gefragt, was ist denn jetzt mit Gwen? Weil mit diesen ganzen lokalen Modellen musste er mal kalkulieren können. Nimm mal eine Annahme und gib mir dann mal eine Information. Naja. Also je nachdem, über was man das dann gehostet hätte. wären wir so bei 18,30 oder 114,00 Euro wenn ich das extern gehostet hätte. Damit ihr das mal in Token wisst, ich habe mit den lokalen Modellen im Input ca. 76,5 Millionen Token verarbeitet und im Output 14 Millionen und für die Sonet sind wir Jetzt muss ich zusammenrechnen im Moment. Kopfrechnen schwach. Da haben wir ungefähr 240 Millionen Input und Output 2,1, wobei halt auch viel gecached ist. Also für mein Spieleprojekt wäre, wenn das jetzt mal extern gelaufen wäre, wenn wir es auf Cloud Services hätten laufen lassen. Und Gwen sind ja schon eher die günstigeren Modelle. sagen wir mal so knapp 200 Euro Entwicklungskosten aufgelaufen. Da haben wir nur die Modellkosten. Und da reden wir jetzt auch davon, dass wir einmal in die falsche Richtung gelaufen sind. Okay, hilf mir, an welcher Stelle bin ich falsch abgebogen? Ja, naja, mein, er entwickelt das gerade neu. Ja, ach so, ja, ja, das meint sie mit falscher Richtung. ich dachte, meine Kostenberechnung oder Kostenbetrachtung. Also, ne, ne. das ist recht. allerdings auch, grad gesagt, 20 Tage, das sind jetzt so 20 Tage, wo immer so ein bisschen was nebenbei lief, sagen wir mal vier Tage, wo richtig aktiv etwas richtig nacheinander ablief, weil nicht irgendwelche Berechtigungen dazwischen hingen. noch irgendwelche ich habe mal das modell geändert und auf einmal verschluckt sich alles auch das gehört mit dazu und meine zeit ist da auch nicht mit drin was ich da alles schon mit reingepackt aber ja ist doch ok oder so 200 dollar 200 euro das doch ist doch grundsätzlich erstmal klingt doch gar nicht mehr so schlimm Jetzt bist du... Ich habe zwar noch nichts, aber wenn ich ein Ergebnis hätte, es vielleicht schöner. Wir haben ja jetzt nur eine reine Tokenkostenbetrachtung gemacht. Ja, richtig. Das reicht wohl nicht. Du hast ja auch Zeit reingesteckt, Ja, ein bisschen. Und ich weiß natürlich auch nicht, wie viel Strom da in der Zwischenzeit gelaufen ist. Genau, also das ist genau der Punkt. sehr schwer, diese Kosten zu erfassen. Auf Tokenbasis, glaube ich, hast du es sehr gut gemacht. Das heißt, wenn du sagst, 100 Dollar, aber es ist mit deiner Subscription abgefangen, dann müsstest du das nochmal ganz kurz erklären. Ja, weiß nicht, wie legal das ist, aber ich glaube, Entropic hat andere Themen als das gerade anzuhören. Weil es gibt so in den AGBs, glaube ich, so Abstufungen, was du wie mit abfangen kannst. Ich glaube, ich mache das über die CLI, was wiederum noch okay ist. ist so dieses, wir dulden das noch bis Mitte Juni wird das über die Subscription abgefangen und danach gibt es eine Änderung in den Subscriptions. dann wird das glaube ich auch wieder teurer. weiß noch nicht, wie ich das dann mache, ob ich das dann noch weiter nutze. wird erheblich teurer. Vielleicht nutze ich dann auch wie für meinen OpenClaw einfach Openrouter und nutze dann ein relativ günstiges Modell in der Cloud anstelle von dem da. Aber das andere Story, genau das mache ich quasi über installiertes Cloud, meine Subscription, die ich abgeschlossen habe für 20 Dollar im Monat. habe ich dort hinterlegt, habe mich angemeldet und über die Claw CLI wird das Ganze dann angesprochen. Das ist quasi die Schnittstelle, die Paperclip auch zur Verfügung stellt an der Stelle. Mhm. Und für die anderen Modelle habe ich ein Olamas laufen, was die GPU ansprechen kann in Form eines Containers und da drin habe ich dann die unterschiedlichen Modelle gehostet. Der lädt die Modelle in den Ich fern. Speicher rein auf meinem Nasr. Da ist allerdings auch ein relativ grosses, dickes, speicherintensives Nass mit bei. Also es ist bewusst mit diesem Ansatz gekauft. Gott sei Dank bevor der Speicherpreis in die explosionsartigen Richtung gewandert ist, da sind 92 Gigabyte Speicher drin. Ist es dasselbe nass, das uns vier Tage lang beschäftigt hat, als wir... Das ist dasselbe Nass, was mich in Redman tatsächlich so zwei, drei Tage echt frustriert hat. Ja, okay. Was übrigens nicht die Schuld vom Nass war, sondern von einem Zwischenstecker, der einfach aus war. Also das Nass konnte gar nichts dafür. Es war einfach keine Ahnung, warum dieser Zwischenstecker ausging. Anyways, genau dieses Nass, Okay. an dem ich tatsächlich so bisschen verzweifelt bin. Ich wollte nur... Ist ja okay, ist eine Zwischen-Story. Hahaha. Ja, spannend. wenn du jetzt ein Fazit ziehen würdest, wie würde das dann aussehen? Es ist eine schöne Feldstudie aus meiner Sicht, zu zeigen, dass wenn man versuchen möchte mit AI tatsächlich was lokal zu machen, gibt es Modelle und Möglichkeiten, die ich machen muss. Aber ich muss das Ganze auch mal in die Realität bringen und als Firma eben auch diese ganzen Rechenzentren-Abhängigkeiten mit Da reicht nicht irgendeine alte Büchse, die ich mal hinstelle und da geht jemand per Terminal drauf oder sonst irgendwas. sondern ich muss dann wirklich darüber reden, dass ich im Rechenzentrum meine GPUs reinbaue oder reinbauen lasse, dass ich GPUs anschaffe, die möglichst dafür sorgen, dass ich eine effiziente Berechnung da drin habe, dass ich Speicher zur Verfügung stellen muss und nicht nur 1TB an Festplattenspeicher. Die Modelle brauchen auch ein paar Gigabyte, aber eigentlich brauche ich Arbeitsspeicher. Die Crux, die gerade passiert mit diesen ganzen Hardware-Sachen. Der Grund, warum Spielekonsolen teuer werden, neue Hardware für Rechner teuer werden. Warum die Preise überall explodieren, was irgendwie mit einer klassischen Hardware zu tun hat. Warum wir inzwischen wieder DDR4-RAM haben, der teilweise seit, keine Ahnung, x Jahren wieder raus aus dem Geschäft war. Mmh. Und ... Dann kann ich sowas auch lokal machen und das sollte ich mir überlegen, wenn ich bestimmte Arbeitsprozesse habe, die vielleicht kritische Daten verarbeiten, denn ist es das immer noch wert. Heißt, aus meiner Sicht ist es nicht zwingend notwendig, eine KI in der Cloud laufen zu lassen, aber ich muss mir bewusst sein, oder über die Cloud laufen zu lassen, ich muss mir bewusst sein, dass das Unmengen an Ressourcen frisst. Und ich habe ja gesagt, Die Lüftung ging ja an. Ich bin mir sicher, dass der zu dem Zeitpunkt auch mehr als nur den Eidlstrom konsumiert hat, den er sonst Ich denke auch. hat. Die Kiste war beschäftigt. Ja, wenn Temperatur da ist, dann war sie sehr beschäftigt. Genau. Spannend. Und dabei haben wir jetzt noch einen Aspekt außen vor gelassen, nämlich dass die Daten, also du hast ja jetzt quasi lediglich in Anführungszeichen über eine Softwareentwicklung gesprochen, wo Code entsteht. Wenn wir darüber sprechen, dass wir Dokumente verwalten und verarbeiten oder wissen, wie auch immer, oder andere Formen von Daten. Dann wird das Ganze nochmal auf eine andere Nummer gelegt, weil es wäre blöd, wenn schnelle Modelle auf langsame Daten warten. Auch das Jahr. Also muss man da vielleicht in der Netzwerk-Tropologie nochmal eine Schippe drauflegen, damit Daten möglichst zügig anliegen und verarbeitet werden können und die Ausgabe dann entsprechend funktioniert. Also es ist ein bisschen ein richtig krasses Problem, mit dem man sich da auseinandersetzen muss, auf einmal wenn man sowas im Unternehmen einführen möchte und es lokal betreiben möchte. Die gleichen Herausforderungen haben natürlich auch die Großen. ganz egal, ob wir über Ionos sprechen oder bis nach Amazon und Microsoft Azure gehen. Sie haben alle dieses Problem und müssen sich damit auseinandersetzen. Sie sehen sich alle mit den Kosten konfrontiert, die du gerade genannt hast. Jetzt ist es so, wir stellen also mal fest. Und wir haben ja das letzte Mal auch schon kurz darüber gesprochen, dass gewisse Unternehmen bereits wieder stückweise zurückrudern in der Nutzung von AI, weil sie sagen, die Nutzung von AI übersteigt meinen Personalkostenschlüssel Mhm. bei weitem. Also nicht irgendwie eine Kleinigkeit oder so, sondern das ist das ist mal krass und trotzdem wird es weiter genutzt und der Hype ist quasi fast umgebrochen. Woran könnte das liegen? Warum ist das so? Ich glaube, wir sind gerade in einer ganz spannenden Phase zwischen Entdeckungsvorschaudrang und tatsächlich realem Nutzen. Wir befinden uns hinter diesem reinen Discovery-Modus. heißt, viele haben jetzt inzwischen ihre Use Cases schon definiert, die haben schon ihre Anwendungsfälle. und haben dort auch angefangen, die Prozesse mit umzustellen und einen Mehrwert draus zu generieren, zu erkennen. Genau, das ist ja auch die größte Schwierigkeit für die meisten Unternehmen. Was ist denn Mhm. echte Wertschöpfung durch AI? Ja, ich habe gerade gesagt, die meisten, die meisten heißt halt auch, die haben vielleicht mit 20 unterschiedlichen Workloads angefangen und davon laufen noch zwei, die tatsächlich dann mit KI eine Wertschöpfung mitbringen, weil diese Erfahrung erst einmal, wir probieren alles mit KI, ja, ging los und ist dann doch relativ schnell ernüchtert wieder runtergefahren worden. Das können auch mehr als zwei sein, hängt davon ab, wie und wo ich das mit umgesetzt habe, nicht auf die zwei fest nageln. Vielleicht habt ihr auch sechs umgesetzt, auch gut. Aber wir haben halt durchaus sehr viel gehabt, was losgelaufen ist, als die Kosten noch nicht so nach oben gegangen sind. Weil wir viel gesehen haben, wo die Anwender noch zaghaft waren, also wo auch die Entwickler nicht so viel damit gemacht haben. wo die Anwender nicht so viel gemacht haben, wo auch Datenmengen noch kleiner waren, weil man mal angefangen hat mit einem kleinen POC und wir schieben mal ein bisschen Daten rein, anstatt dass wir kontinuierlich irgendwo eine größere Datenmenge haben, die wir durch AI jagen. Ich glaube da ist schon ein bisschen Erfahrungswerte auch mit bei und durch die Anpassungen, die jetzt dann in den unterschiedlichen Verrechnungsmethoden hochkommen. Ich habe Entropic gerade angesprochen, aber das ist ja nicht nur Entropic, das macht ja auch ein OpenAI. Das macht ein Microsoft mit einem GitHub Copilot, die die Kosten anpassen. Da ist schon einiges, glaube ich, was auch nochmal dazu führen wird, dass die Leute deutlich stärker hinterfragen werden. Wofür nutze ich denn jetzt KI und was ist ein größerer Mehrwert davon? Ich glaube, das wird nochmal ein bisschen eine andere Wahrnehmung werden. Ich die Frage ist... habe ich einen klassischen ROI, ich AI einsetze, beziehungsweise wie macht sich das bemerkbar überhaupt? Und ich glaube da... Da werden wir noch das ein oder andere sehen, an welchen KPI es gemessen werden kann. Ich glaube, ziemlich viel, also ich würde sagen über die Hälfte der Führungskräfte heutzutage. glauben, dass AI für die Umsetzung der täglichen Aufgaben ihrer Teams wichtig oder ist. Trotzdem ist es auch so, dass ich überzeugt bin, dass die Das Erreichen des ROI oder das überhaupt festzulegen, was der ROI ist, sehr schwer zu berechnen und zu erarbeiten ist. Was ist denn tatsächlich der ROI von einem Einsatz von AI? Und da hast du schon einen ganz wichtigen Satz gesagt quasi, nämlich der Geschäftswert entsteht dadurch, dass wir in der Lage sind, zu bemessen, welche Prozesse oder welche, ja eigentlich welche Prozesse automatisiert wurden und schneller laufen und deswegen mehr Raum schaffen für etwas anderes. Und das ist ja, glaube ich, das grundsätzliche Thema bei AI. Es schafft mehr Raum für etwas anderes. Ist ja auch der Grund, warum du AI benutzt, oder? Am Ende des Tages. Am Ende ja, weil ich halt sagen kann, okay, kümmere dich jetzt bitte diese Aufgabe und ich gehe dann schon auf andere Themen. Das kann jetzt sein, dass ich eine umfangreiche Recherche mache zu einem bestimmten Thema, weil ich daraus basierend dann eine Präsentation teilweise auch erstellen Aber eben auch sage, okay, ich brauche dann eben mal die unterschiedlichen Einblicke auch. Ich brauche Studieninformationen, ich brauche Insights, ich vielleicht schon mal über ein 20-, 30-, 40-seitiges Dokument mir selbst aneignen kann. Oder ich eben die AI nehme und sage, mir da rein und hol mir folgende Aspekte raus. Und dann gucke ich mir die Sachen noch mal genauer an. Aber genauso gut, dass ich eben so wie in meinem Fall hier mit dem Showcase, möchte ich fast sagen, ich lasse was entwickeln. und muss nicht dabei sein. Das sind eigentlich so diese Seiteneffekte, wo ich sage, ich kann mich ~ andere Sachen nebenbei kümmern. Und das ist ja für mich im Office-Bereich etwas, was einen Riesen-Mehrwert bietet. Weil ich dann einfach weiß, okay, vor einem Meeting setze ich mich kurz an die Konsole, sage, mach das bitte. Der bekommt entsprechend den Rechten. dann die Möglichkeit etwas umzusetzen. Und am Ende des Tages komme ich raus aus dem Termin und habe ein fertiges Dokument, ich habe eine Linksammlung, habe irgendwas, mit dem was umgesetzt wurde, tatsächlich also aktiv etwas umgesetzt wurde, bis hin zu dem Punkt, dass ich sage, okay, das kann ich jetzt weiter verarbeiten oder habe ein fertiges Und wenn ich das auf ein Unternehmenssätze, was vielleicht in der Produktion irgendwo ist oder was mit großen Datenmengen arbeitet, mit Analysedaten arbeitet, dann habe ich da ja mehr Möglichkeiten, auch komplexe Berechnungen zum Beispiel, ohne dass da nochmal viel an Aktionen passiert, automatisch durchlaufen zu lassen. Das sehen wir auch ganz viel, was gerade von diesen Promt-getriebenen Einsätzen zu eventgetriebenen Ansätzen, mit der Einnutzung geht, auch im Office-Bereich. Da haben wir brutal viel Änderungen. das Berechnen des ROI's. Ich habe da vor kurzem einen schönen Post gesehen von der Sie mögen es mir verzeihen. werde Sie hoffentlich gleich nochmal zitieren. werden gleich nochmal loswerden Mahams Gedächtnis. Da hat sie so schön gesagt, sie hat zwar diese Momente, wo sie AI eine Aufgabe gibt, sich dann eine andere kümmert, aber gleichzeitig dann eben noch teilweise zwei, drei, vier unterschiedliche Aufgaben hat, die sie dann an AIs weiter delegiert und dann sehr viel trotzdem mit unterschiedlichen Themen hin und her springt. Femke. Nee, es war nicht Femke. Sie jetzt gleich gesagt. Vielleicht, okay, dann hat sie das Gleiche gesagt. Ich komm gleich drauf. Und sie mögen mir verzeihen, ich mein Namensgericht so schlecht ist. Ja, du kommst bestimmt drauf. Ja, also bleibt festzuhalten, der ROI von AI ist nicht so richtig einfach zu bemessen oder zu berechnen. Bleibt festzuhalten, man auf jeden Fall ein gutes Monitoring etablieren sollte die Nutzung von AI und damit nicht zwangsweise in Kostenexplosionen im Unternehmen stattfindet, das man nicht so vorhergesehen hat. Schreibt aber auch festzuhalten. Und das ist ja das, ich schon seit wir diesen Podcast haben und davor gesagt AI ist nicht jetzt da, uns sofort arbeitssuchend zu machen, sondern wir werden erstens nach und nach immer noch benötigt und werden wahrscheinlich partnerschaftlich mit AI dann arbeiten. Und das ist ja auch genau der Punkt, wo viele die Zukunft sehen von AI. Interessant ist jetzt aber auch, was du gemacht hast, das Thema mal ein bisschen wieder zu wechseln, mit der BeMAD Methode, die du agentisiert hast und damit ein Stück weit Struktur genommen hast, weil BeMAD ist primär eine Methode mit strukturiertem, agilen Ansatz, Das unterstützen wir durch künstliche Intelligenz im Entwicklungsprozess von der Ideation über Produktrequirements, über Architektur, Epics, Stories bis zur Implementierung. Dein Ansatz hat jetzt quasi einiges davon rausgeschmissen, weil da gehört ja nicht nur dazu, dass die den tollen Namen tragen, sondern dass es irgendwo ein Rezept gibt, nach dem man da vorgeht, was in deinem Unternehmen nicht umgesetzt wurde am Ende des Tages. Zumindest es hörte sich das jetzt danach an, Ich schon. weil du du du bevorzugst den agentischen Ansatz für Softwareentwicklung. Und ich hatte das letzte Mal ja schon gesagt, dass ich noch ein Alternative Ich habe es noch nicht ganz geschafft, mir selbst anzuschauen, aber ich wette, schaffe es, dich neugierig genug zu machen dafür. Es gibt etwas das nennt sich Ruffalo. Also es wird geschrieben R-U-F-L-O. Und das ist ein technischer Orchestrierungslayer für agentische Softwareentwicklung. Und viele spezialisierte Agenten, die ein geteiltes Gedächtnis haben, die mithilfe des MCP, also Model Context Protocol und der CLI, also so wie das Paperclip auch macht, mit Plugins, mit Föderationen über unterschiedliche Maschinen hinweg und anderen Sicherheitsfunktionen ein Projekt stemmt. Und Ruffalo beschreibt sich selber als Multiagent AI Harness. Mir ist in meiner Arbeit das Wort Harness für AI-Agenten jetzt schon öfter untergekommen, unter anderem bei Longchain. die einen Deep Agent haben, der sich als Agent Hornis beschreibt. Das ist ganz interessant, was Sie darunter alle verstehen. Also ein Hornis ist nichts anderes als Ich glaube, in der Arbeitswelt würde man davon sprechen, dass das ein Geräteträger ist. Ein Harnis in der Bundeswehr wäre etwas, was früher mal die Koppel gewesen ist, wo man halt ganz viele seiner Einsatz-Tools dranhängen kann. Wenn ich das bei einem Bauarbeiter sehe, ist der Harnis möglicherweise ein Fangengurt, wenn er sich irgendwo einseilen muss, plus Werkzeughalter etc. Also ein Harness ist etwas, einen grundsätzlichen Agent umgibt mit anderen Möglichkeiten, paart und die dann anknüpfen können. Und das verspricht jetzt dieses Roughflow zu sein. Also im Gegensatz dazu, wie ich es gerade schon gesagt habe, ist die BbMet Methode ja primär. strukturierte, agile, durch Künstliche Intelligenz unterstützte Entwicklungsprozess mit den unterschiedlichen Phasen, ich vorhin schon gesagt habe, mit den unterschiedlichen Rollen, die ich vorhin schon angebracht habe, während dann Ruffalo herkommt und sagt, okay, ich bin so fokussiert auf Cloud Code und Codex und andere und kann und dir über 100 spezialisierte Agenten mittels Teams oder Maschinen oder über die Vertrauensgrenzen hinweg verwalten und koordinieren, deine Software zu entwickeln. Das heißt also, hätten, wenn wir das Ganze ein bisschen zusammenfassen wollen, so ein Stück weit... Wenn wir also BeMAD und Ruffalo miteinander vergleichen, dann könnte die Headline irgendwie sowas sein wie Ruffalo skaliert Agenten, BeMAD skaliert Verständigung oder wir könnten sagen sowas wie nehmen wir mal deine Rolle ein und sagen für Entscheider ist Ruffalo eine Plattformwette und BeMAD ist eher eine Prozesswette. Das trifft es meiner Ansicht nach auch ganz gut. Wenn wir uns nämlich die beiden Tools miteinander vergleichend anschauen, dann haben wir bei BIMET immer noch mehr Methode drin, das an Softwareentwicklung erinnert, die klassisch agil getrieben ist, seinen Strukturen folgt und damit qualitativ gute Software entwickelt, wo raus gesetzte Input passt. Wie das bei Ruffalo abläuft, kann ich dir noch nicht genau sagen. Ich würde aber vermuten, es hängt davon ab, wie man die Agenten instruiert. Ich müsste mir noch mal bisschen Zeit nehmen, das auszuprobieren. Ich bin seit unserer letzten Aufnahme nicht dazu gekommen. Aber ich fand es super spannend, wie die Orchestrierung hier passiert und was da genau passiert in der Orchestrierung. Weil Ruffalo hat ja quasi den Agenten Schwarm und bei der B-Met Method bist du mehr so... in deinem Doing und du wartest da halt auch auf Ausführung. Während das bei dem Roughflow Ansatz so ist, du das beschrieben hast, so vor einem Meeting, schub sich hier nochmal kurz was an und dann gehe ich in das Meeting und wenn ich nicht da rauskomme aus dem Meeting oder morgen früh, dann ist er fertig und dann kann ich mir das Ergebnis ansehen. Also es hat zwei völlig unterschiedliche Aspekte. Wer sich das anschauen will, wir würden den Link da gerne hinteilen. Das ist auf jeden Fall was, noch Ich würde das der Tiefe analysieren, genauso wie ich das gemacht habe für BIMET. Jetzt hatten wir aber das letzte Mal noch ein anderes Problem. Du hast mich gefragt, wie ist denn so der Tokenverbrauch bei BIMET und dem ganzen Thema? Und auch für Ruffalo wäre das ja quasi ein Thema, wir uns unterhalten müssten, wie sich das darstellt. Und wir haben festgestellt, dass man das als Enterprise Nutzer gar nicht so einfach sagen kann. Warum ist das so? Du musst eine Berechtigung haben, die CLI zu starten und diese Fragen zu stellen gegenüber dem Anbieter deines Agents. In meinem Fall wäre das Codecs respektive GitHub Copilot. Da wir in einem Enterprise-Umfeld unterwegs sind und wir ein großes Unternehmen sind, habe ich natürlich diese Berechtigung nicht. jetzt würde man ja irgendwie, also man bräuchte einen Weg, das zu ändern, oder? Also ~ da direkt an diese Informationen dran zu Weiß ich nicht. Ich glaube, für die technisch verliebten Personen wäre das schon ganz gut. Die anderen sagen, Hauptsache ich kann es halt nutzen. Ich glaube für unseren Use Case, gerade wenn wir nochmal das Thema ROI betrachten, zählt das einen ganz, ganz großen Faktor. Also der Manager sollte schon auch das Gefühl haben, wie viel gerade seine Abteilung an KI-Tokens, an Kosten einfach in KI verbrennt. oder reinsetzt. Also sagen wir mal, dass der Manager das wohl am ehesten weiß. Aber machen wir da ein anderes Beispiel auf, du bist Dienstleister und du lieferst AI-unterstützte Ja, ja. Softwareentwicklung irgendwo hin. Wie möchtest du festmachen, wie viel das dann den Kunden gekostet haben könnte oder wie viel, also wie groß ist der Investort? Also wir würden ja tracken, wie viele Stunden wir investieren, den Kunden glücklich zu machen. Aber machen wir das im gleichen Maße für AI-Token auch? Wahrscheinlich geht das ganze nur über eine Annahme, die du mit reinsetzt und dann sagst du, guck mal hier auf die Tokens und wenn du die erreicht hast, machst du mal kurz eine Entwicklungspause bitte. Und bisher war das ja auch ganz einfach, weil wir wussten wir haben unsere Flatrate, sag ich mal, und konnten das abfrühstücken und dann war gut. Jetzt ändert sich das. Jetzt werden die Abrechnungszyklen und die Tarife teurer und jetzt muss man da vielleicht noch mal genauer hinschauen können. Und es gibt tatsächlich ein CLI Tool, das in der Lage ist das zu tun. einem Kollegen von mir aufgefallen, das fand ich ganz cool, das heißt CC Usage oder Crusage oder wie auch immer man es aussprechen möchte. Ich glaube CC Usage ist der korrekte Ausdruck dafür. Es ist ein Trending Github Repository und kommt von einem nicht ganz unbekannten Entwickler. Es hat bereits über 16K Stars auf GitHub und das ist in der Lage die Erfassung verschiedenster Modelle beziehungsweise das ist falsch was ich gesagt habe, Coding Agents und dessen Verbrauch zu erfassen und zwar von lokal das heißt läuft auf deinem Rechner macht eine Auswertung und kann dir dann die täglichen, wöchentlichen, monatlichen Bis hin zu Session. Also wenn du CC Usage startest, du dir von einer Session wo du gestartet bist sagen, wie viel Token du verbraucht hast. Also es ist ziemlich cool dieses Tool. Sehr einfach in der Handhabung, lässt sich sehr einfach installieren, wird gut unterstützt, macht eine relativ... Also eine Idee zu haben finde ich es ganz nett. Es läuft lokal, du hast keine auswertigen... Also gibst deine Daten nicht irgendwo hin raus, was zur Auswertung dienen würde. Von daher bin ich da super happy mit und finde das total cool, was dabei herauskommt. Und das kann ich euch nur ans Herz legen, wenn ihr wissen wollt, was euer lokaler Verbrauch von Tokens ausmacht, wenn ihr nicht selbst darauf zugreifen könnt auf diese Auswertung. Habt ihr diese Auswertung im Zugriff, dann macht es natürlich keinen Sinn, genauer hinzuschauen und es zu analysieren dort. Also, ich habe mir wieder Hausaufgaben aufgeladen, Micha. Du bist nicht alleine, du hast mich tatsächlich neugierig gemacht. Ich weiß noch nicht, ich das Roughflow nutze oder mal reinspiele. Aber zumindest mal das CC Usage und ich lese das auch so wie du. Das würde ich auf jeden Fall mal probieren. Ich habe mir parallel das Repo angeschaut. Ich finde das spannend. Vor allen Dingen möchte ich dann gerne auch verstehen, ob es ausschließlich auf CLI-Ebene arbeitet, so wie das echte Entwickler halt machen oder ob das auch für mich als ich nutze die Desktop-App Ergebnisse liefert. Mal gucken. Ich werde das testen. Ja, spannend. Ich bin natürlich immer daran interessiert, was so deins ist, was dabei rauskommt. Eine Einordnung noch von Ruffloh. Wenn wir Sicherheit und Governance Perspektive einnehmen und das mit Vergleich setzen zu BIMAD, dann sind wir bei BIMAD und haben dort Security Policies, die sehr stark auf sicheren Nutzung, Review, und Review von dem generierten Code gehen und sehr begrenzt im Dateizugriff sind etc. pp. Ziemlich aktuelle Versionen einsetzt, dass Dependency-Validierung stattfindet und so weiter und so fort. Und auch die Entwicklungsumgebung sehr isoliert läuft, während wir dann bei Ruffalo mehr technische Angriffsfläche hätten, aber auch mehr technische Sicherheitsmechanismen. Während BIMAD sich weiter mit weniger mit runtime Komplexität beschäftigt. Aber verlagert halt Governance stärker in Prozess, Review und Tool-Konfiguration. Hat Rufflo den Anspruch von Security-Funktionen wie Input-Validierung, Path Traversal Schutz, Command Injection Schutz und so was alles. das halt notwendig ist, weil man Agent hat, die Maschinen übergreifend oder übergreifend kommunizieren können. Sollten diese Mechanismen da sein? Genauso wie BIMED hat es Statusdokumente etc. Also es ist wirklich spannend zum Anschauen. Ich würde sagen, dass beide Projekte super sichtbar sind und super sinnvoll zum ausprobieren. ist sogar so, dass Ruffalo, obwohl es jünger ist als B-MAD, bereits 10k mehr Stars hat auf GitHub und knapp 1000 Forks mehr hat als die B-MAD Methode. Das finde ich schon mal super interessant. Es ist ein schnell wachsendes technisches System, hat eine hohe Änderung und Wartungsdynamik, während bei B-MAD das schon ein bisschen mehr gesetzter wirkt und auf mich den etwas weniger spielerischen Eindruck macht. Und deswegen ist auch die Einordnung für mich so, dass wir bei Ruffalo über ein technisches Experimentierfeld sprechen. Agentenschwärme, semantischer Speicher, Embeddings. Semantischer Speicher, noch nicht gehört? Interessantes Thema. Embeddings, Hooks, Tool Routing, GitHub Integration. Browser automation und all sowas. meine super cool, während wir bei BIMet halt nicht diese Agentenmaschine haben, sondern eher so ein KI-gestützten Delivery Ansatz, wo ich also noch selber die Hand als Entwickler mit anlege. Ich finde, ich finde es mega gut, Organisationen, reif genug sind, sowas wie agentische Workflows als Infrastrukturthema zu behandeln, Sicherheitsmodelle und Toolzugriffe anbieten können, sowie Kostenkontrolle respektive eine gute Control Panel am Start haben und vielleicht auch viel über lokale Modelle arbeiten, so wie es da Micha macht, können da mega gut mit abarbeiten, würde ich sagen. B-Met ist dann ein bisschen besser, wenn du mit eher unscharfen Bedingungen zu tun hast und nicht so sehr die Anforderungen klar sind, die Prioritäten sich wechseln könnten, die Architektur vielleicht inkonsistenter ist etc. Also es hat beides seine Für und Wider und ich schätze, meine persönliche Einschätzung ist, ein guter Mix aus beidem wird später dafür sorgen, dass gute Software rauspurzelt. Aber das ist nur meine persönliche Einschätzung dazu. finde das spannend, durch diese Ergänzung gewinnen wir ja tatsächlich auch einen Mehrwert, den wir für die Unternehmen schaffen können. Und wir haben jetzt in der aktuellen Episode ja auch über einiges Richtung ROI gesprochen, wie man sowas quasi mal beleuchten kann. Wir dabei einen ganz wichtigen Faktor tatsächlich noch vergessen, sind so versteckte Kosten. Und ich meine damit nicht die Strom, sondern das, was ich sag mal noch in diesen Themen wie Sozial, AI-Slop, auch das mit der Arbeitswelt. Aber das würde die heutige Episode tatsächlich deutlich sprengen. Das würde ich ganz gerne mit in die nächste Episode nehmen, Ralf, dass wir darüber mal sprechen. Dann kann ich vielleicht auch davon berichten, ob das was für mich war, das neue, das Ruffalo oder nicht. Also Ich finde das extrem diese unterschiedlichen Repos auch kennenzulernen mit den unterschiedlichen Ansätzen, weil ich glaube vielen fehlen noch auch die Möglichkeit ein bisschen über den vorgefertigten Weg hinauszuschauen und diese Hype Repos möchte ich fast sagen. Betrachtet glaube ich diese Lücken, die in ganz vielen Prozessen, wenn wir sagen wir machen irgendwas mit KI, Entwicklungen oder sonst irgendwas. geschlossen werden können. Also ich glaube da gibt es einen riesen Mehrwert das auch mit umzusetzen. Ich bin gespannt, vielleicht haben wir beide bis dahin schon Erfahrungswerte. Cool. Ja, ich werde auf jeden Fall mir das nächste Repository schnappen und ich denke, wir werden noch zwei davon betrachten, ob wir dabei jedes Mal dabei herauskommen, dass wir eine volle Strecke Software damit entwickeln können. Schwierig tatsächlich gibt es davon noch nicht so viele, mit denen das läuft, aber es gibt unterschiedliche Ansätze dafür, die wir auf jeden Fall mit euch beleuchten. Und ja, das Thema AI und Mehrwert super gern. Also ich fast gerne sagen, dass wir das in jeder unserer Folge brauchen. Ja, absolut. Und damit würde ich aber für die heutige Episode sagen, ich habe wieder was gelernt. Dankeschön, Ralf. Ich hoffe, ihr habt auch etwas gelernt. Vielleicht auch nur aus den Erfahrungen, die ich hier geteilt habe. Kontrolliert den Zwischenstand von dem, was entwickelt wurde. Challenge durchaus mal die AI, ob die auch immer noch weiß, womit sie eigentlich mal beginnen. sollte und was das Ziel war, respektive die passenden Frameworks zu implementieren, wie der Ralf das so schön gesagt hat, beMAT Methode und damit würde ich sagen, ich habe es schon wieder, ich kriege Teile zusammen von unserer Schlussformel. doch mal ein paar Teile davon. Es ist doch in Ordnung. Es wird schon Hehehe. gehen. Ich fände noch super interessant. Also erstens, Michael, ich habe viel gelernt von dem, was du erzählt hast heute. Ich fand das mega interessant, deine Kostenauswertung da zu sehen und zu hören. Und da sollten wir dranbleiben. Ich glaube, dass es ein bewegendes Thema ist im Moment. Und ansonsten hast du noch ein paar ganz interessante Knöpfe gedrückt bei mir, so was wie, wie sieht das eigentlich Home AI aus? Das beschäftigt mich jetzt allerdings Mach's nicht, das ist ein Rabbit Hole. schon nicht gerade eben, seitdem du das gesagt hast, sondern schon ein bisschen länger befasse ich mich damit. Wie könnte das aussehen? Also auch so was wird dann demnächst mal hier breit getreten werden. Ja, be careful. Das ist wirklich etwas, da kannst du tief drin versinken, aber es macht Spaß. Ich schon... Ich hab ein paar lustige und ein paar nicht so witzige Sachen schon eroiert. ist ganz witzig auf jeden Fall. Also Leute, vielen Dank fürs Zuhören. Micha? Ja, bleibt weiterhin interessiert. Und da hört schon wieder auf. Das war so das Wichtigste, ich im Kopf hatte. bleibt interessiert, bleibt neugierig, Danke. abonniert uns und hört uns zu. Wir freuen uns auf uns, uns das nächste Mal mit euch zu treffen hier an dieser Stelle. Euer Micha und Ralf. Bye bye. Ciao!