Kevin in the Wild / Gastinterview
KI-gestützte Softwareentwicklung mit Kevin Riedl von Wavect #119
Aufgenommen auf Deutsch 1:15:56
Aufnahme veröffentlicht
Aus dem Audio mit Whisper transkribiert und mithilfe von KI mit den automatischen Plattformuntertiteln abgeglichen. Unverständliche Stellen stehen in eckigen Klammern. Originalsprache, ohne Sprecherzuordnung; Fehler bleiben möglich und die Aufnahme ist maßgeblich. Kapitelüberschriften wurden teilweise redaktionell ergänzt.
Wo steht KI-gestützte Softwareentwicklung, und was ist Loop-based Engineering?
Diese Stelle ansehen · 0:000:00 Moin zu Einfach Komplex. Heute zum Thema KI-gestützte Softwareentwicklung und wieder mit einem Gast, dem Kevin Riedl, Gründer und CEO von Wavect. Moin Kevin. Servus, danke für die Einladung. Bin schon gespannt. Ja und moin aus Hamburg. Ich glaube, wir haben heute Nord-Süd-Achse hier, wenn ich das so richtig höre.
0:16 Wie so oft. Ja, sehr cool. Kevin, was machst du eigentlich und was macht Wavect? Und vielleicht kannst du auch so ein bisschen ausholen und erklären, warum du jetzt unser richtiger Sparrings-Partner für das Thema KI-gestützte Softwareentwicklung bist. Ja, also ich würde mal sagen, also kurz zu uns, wir sind eine Softwareagentur mit 95% Exportquote und das sage ich deshalb, weil wir mit den ganzen Innovation Hotspots sehr eng zusammenarbeiten.
0:44 Das heißt mit Firmen aus dem Silicon Valley, also viel USA, Dubai, Singapur, UK, Schweiz und so weiter. Und da kommen wir natürlich unweigerlich sehr viel mit Bleeding Edge, also mit extrem neuartigen Technologien und Ansätzen und Prozessen auch in Kontakt. Und ja, deswegen glaube ich, dass ich sicher einige von diesen Learnings heute teilen darf, kann, und dass wir die durchdiskutieren, und dann schauen wir, wo es uns hinführt.
1:16 Genau. Ja, sehr cool. Dann würde ich mal einfach den Ball, sage ich mal, ins Feld schießen. Ja, mal gucken, wie ihr beide euch dann austauscht, und [unverständlich] nicht mal fragen zum Start sehr offen. Ja, wo steht denn jetzt quasi AI Native Development oder KI-gestützte Softwareentwicklung gerade?
1:32 Puh, das ist wahrscheinlich in einer Woche wieder obsolet, aber in den letzten, puh, waren das zwei Monate jetzt schon wieder, ist ja alles schon wieder so in Richtung Loop-Based Engineering gegangen, also vorher hat man halt seine Prompts geschrieben und mittlerweile definieren gefühlt alle oder viele mittlerweile einfach sogenannte Ziele und die AI arbeitet so lange, bis die Acceptance-Kriterien, also gewisse Kriterien erfüllt sind und die Software dann auch läuft.
2:02 Also ich glaube, das ist jetzt so der größte Shift in den letzten paar Monaten, der passiert ist. Und ja, ich kann auch selber bestätigen, dass das sehr viel Unterschied im Workflow auch macht. Burkhard, wie siehst du das? Ja, ich sehe es genauso wie du. Es wird so ein Podcast, eine Bestandsaufnahme.
2:25 Wir haben vorher schon ein bisschen geschnackt, natürlich als Vorbereitung, der Kevin und ich, und wir haben gesagt, naja, alles, was wir heute sagen werden, und wenn wir dann ein halbes Jahr später drauf hören, wenn wir uns die Hände an die Köpfe schlagen, so sagt man es ja, dann sagen wir, um Gottes Willen, was war das für ein Mittelalter?
2:39 Aber das Speed ist halt unglaublich. Ich glaube, es kommt immer darauf an, wie viele Entwickler du hast und wie du ein Team bist und so weiter, wie du dann arbeitest und so. Aber ich kann für mich selbst sagen, es ist auch alles umgekrempelt. Und ich weiß noch, irgendwann habe ich mich committed dazu, dazu, irgendwas zu sagen, wie ich AI benutze.
2:56 Frag mich nicht, wie lange es her ist. Es ist also mindestens zwei Monate her, eigentlich mehr, hier in irgendeiner Folge im Podcast. Und ich habe irgendwie gesagt, naja, ich mache das jetzt noch irgendwie oldschool, weil das überfordert mich und so. Und habe über Google Pro geredet und wie ich das irgendwie aus dem Web hin und her kopiere.
3:14 Also prompt basiert und dann auch nicht mal irgendwie integriert ins Produkt, sondern irgendwie raus und rein, weil ich irgendwie noch nicht die Kontrolle abgeben wollte. Ihr habt schon gehört, noch nicht die Kontrolle abgeben wollte. Ich glaube, ich habe es immer noch nicht, aber es ist ganz anders.
3:27 Ich bin weit entfernt davon, irgendwelche Prompts zu kopieren und auch eher schon so, dass man größere Ziele vorgibt an die KI. Wir werden danach noch kommen, aber dann ein Kanban-Board, was eigentlich kein Stapel mehr von Issues ist, sondern einfach ein Live-Durchlauf-Dings. Bug kommt rein, KI übernimmt den, Rückfrage, alles klar, los geht’s.
3:47 Und du bist fertig, wenn du die Tests geschrieben hast, alles grün ist und nochmal drüber geguckt, Review, Quality Check und Next. Also es hat sich alles schon wieder geändert. Das ist extrem krass. Ja, wir kommen also vom Coden, vom manuellen Coden, händischen Coden über das Prompt-basierte, was immer nur ein kleines Stück Code oder kennt oder sowas oder wo man mehr oder weniger so fragt, wie man früher vielleicht gegoogelt hat oder ihr auf, wie heißt euer, wie ist das Portal früher, wo man Codeschnipsel gefunden hat?
4:13 Stack Overflow. Stack Overflow, danke. Die haben wir jetzt irgendwie für gar keinen Das ist auch schon das größte Trainings-Set für die KI. Das Relikt, ja. So, hin zu genau, diesen einzelnen Abfragen, sich da helfen zu lassen, bis zum Prompten, sich schon größere Stücke Code oder Software erstellen zu lassen.
4:33 Hin zu der voll integrierten KI in, was weiß ich, Visual Studio Code zum Beispiel oder so. Und jetzt sagst du, Kevin, das ist eigentlich das nächste, dieses Loop Engineering oder das, was aktuell gerade passiert. Magst du auch noch ein bisschen drauf eingehen, was das genau bedeutet? Allgemein, ich habe gerade heute wieder einige LinkedIn-Posts gesehen, wo Leute ihre Webstorm-Subscriptions gecancelt haben und so weiter.
4:54 Also so IDEs, so schockierend das auch sein mag, scheinen irgendwie,
Wie arbeiten Agenten, bis die Akzeptanzkriterien erfüllt sind?
Diese Stelle ansehen · 5:005:00 ich bin noch weit weg zu sagen, auszustarben, aber es geht gefühlt schon ein bisschen in die Richtung, dass man sagt, hey, man hat wirklich nur noch ein Chat-Interface und damit interagiert man. Angenommen, die Tokenpreise bleiben leistbar. Und bei diesem Loop-Based Engineering, also ich spreche jetzt da einfach mal wieder von uns.
5:21 Wir stellen halt Fixpreisangebote aus und sehen in unseren Angeboten halt noch viel genauer, als wir früher gewesen sind. Und diese Angebote sind dann eine perfekte Basis für dieses Loop-Based Engineering. Das fütterst du da rein, vielleicht lässt du noch aktuell ChatGPT Astra, welche Tickets oder Tasks vielleicht zuerst gemacht werden sollten, damit das effizienter ist und keine Ahnung was oder Acceptance-Kriterien festlegen, aber sonst kannst du das theoretisch eiskalt einem Agent übergeben und der arbeitet bis er fertig ist.
5:58 Der sagt, hey, das sind die ganzen Kriterien, also diese Success-Kriterien, die ich erfüllen muss und die sollten dann halt durch Tests und so weiter belegt werden. Und da ist halt dann sozusagen die Bedingung, dass diese Akzeptanzkriterien, die da festgelegt wurden, dass die auch gut geprüft werden.
6:22 Also wenn jetzt da Tests geschrieben sind, also geschrieben wurden von der AI, dass man halt wirklich vielleicht als Mensch oder über eine andere AI oder wie auch immer zumindest mindestens einmal drüber schaut und schaut, sind die Tests oder die Kriterien auch sinnvoll umgesetzt oder hat die AI wirklich versucht Abkürzungen zu nehmen und gerade bei weniger guten Modellen passiert das.
6:47 die überlegen dann nicht lange und sagen, okay, ich muss jetzt einfach nur schauen, dass der Test durchgeht, obwohl es eh schon wenig geworden ist. Burkhard, was ist da deine... Ja, ich würde nämlich, ich drehe nochmal kurz die Uhr zurück für unsere Zuhörer, weil du bist ja jetzt natürlich schon mit dem Fluxkompensator am rumfahren, das ist ja klar, das müssen wir auch machen, aber vielleicht nochmal kurz, um die Kurve zu nehmen zwischen dem, wir haben früher was, oder ich ja auch, wir haben früher irgendwie Teile vom Code rausgenommen, ich habe mir versucht, es tatsächlich auch so rauszunehmen, dass der Kontext mehr oder weniger drin war und es aber noch nicht zu viel Code war, weil früher einfach die Modelle daran
7:23 gescheitert sind, dass das Tokenfenster, also der Kontext, wie man so schön sagt im Fachterminus, nicht sehr groß war, limitiert war und du auch nicht dieses Tooling hast, da komme ich nämlich gleich noch zu, das jetzt quasi mitläuft die ganze Zeit. Also du hast quasi einmal ein Stück Code reingepromptet, der nicht zu groß sein durfte, damit die KI das halt noch im Ganzen rafft und nichts falsch macht.
7:47 Dann hat das da rumgeschwurbelt und dann hast du das halt wieder zurückgesetzt. Da warst du schon noch ziemlich dicht am Code, auch wenn du jetzt nicht vielleicht irgendwie A, B, C, D, Klammer auf Klammer zugetippt hast oder sowas. Was jetzt in der Zwischenzeit passiert ist, noch vor dem Loop-Engineering, würde ich sagen, dass das eine Voraussetzung ist.
8:03 Und ich würde einfach mal den Namen Claude in den Mund nehmen, weil ich glaube, die haben das einfach jetzt so etabliert. Ich schätze, dass jetzt alle anderen das weitermachen. Also ich denke, ich habe jetzt gerade die Erfahrung live nur von Claude Code. Momentan weiß auch jeder, Fable 5.1 ist [unverständlich] Shit, sage ich mal.
8:21 Und es ist aber nicht nur das Modell, was jetzt erstens ein größeres Tokenfenster hat, ich glaube eine Million Token, kannst du quasi in einen Kontext spannen. Und das macht halt was. Plus ein anderes Feature, was halt gewaltig ist, was sich halt enabelt. Du kannst nämlich jetzt zum Beispiel hingehen, und das ist, warum das so toll funktioniert, und nimmst dein Repository.
8:43 Wir haben zum Beispiel, also wir bauen ja ein Produkt als Heisenware. Wir haben also ein relativ großes Monorepo in dem Fall mit sehr vielen Zeilen Code. Wahrscheinlich, ich weiß nicht ganz genau, aber um die halbe Million Zeilen Code und die Geschriebene und noch mehr Abhängigkeiten und Gedönsel und Gewuschel drumherum.
9:01 Die willst du ja auch nicht reinpumpen als einen Kontext. Das ist auch nicht das Richtige. Aber jetzt kannst du halt sagen in dem Prompt, ich muss das und das und das in der UI verbessern. Und du musst gar nicht aufrufen im Code, du musst gar nicht mehr wissen, welches File ist das oder irgend sowas.
9:15 Du sagst einfach, was du wissen musst, sind die Namen, die du verwendet hast. Das ist immer noch wichtig. Semantik ist genauso wie für eine Person ist richtig. Wenn du gute Namen hast und die ungefähr weißt, welche Benamensungen du in deiner Codebase hast, dann funktioniert es am besten. Aber dann kannst du sagen, ich will in der UX das und das und das umgesetzt haben.
9:33 Und das Neue ist, dass Anthropic Claude jetzt sich kleine Bash-Skripte schreibt oder Python-Programme, je nach Eskalationsstufe, wie komplett, wie hart das ist. Es kann also, es nutzt also seine Programmierfähigkeiten erstmal gar nicht, um dein Programm zu schreiben, sondern um zu analysieren, was muss ich hier überhaupt machen.
9:52 Den Kontext so selber zusammen zu raffen, dass er vollständig ist. Ich glaube, das ist das, je besser das Modell, desto besser wird diese Anfangssuche. Ich sage zum Beispiel, ich
Lohnt sich immer das neueste Modell, und warum wird Planung wichtiger?
Diese Stelle ansehen · 10:0010:03 will hier irgendwie den Button ändern in der UI. Das hat aber vielleicht mit dem Backend zu tun, mit der Installation, mit was weiß ich, ich habe noch eine Environment-Variable, die ich angucken muss. Das liegt an 13.000 verschiedenen Ecken. Überhaupt nicht sofort ersichtlich für jemanden. Aber das schafft das.
10:18 Also das schafft Claude, genau diese Punkte zu erwischen und keinen zu vergessen und dann eine saubere Änderung zu machen. Und indem es quasi Bash-Skript schreibt, die genau das analysieren. Oder ein Python-Skript. Und wenn es sich nicht sicher ist, dann schreibt es schnell ein Programm und testet es aus für dich.
10:33 Im Container. Ist das auch so. Und auch wenn du eine schwierige Programmieraufgabe hast und es guckt sich die die Dokumentation an von irgendeinem anderen Tool, dann ist die nächste Steigerung auch, ja, ich weiß nicht genau, ob das wirklich funktioniert, also teste ich es aus. Baut sich, lädt quasi die Dependency runter in einen Wegwerf-Docker-Container, was das alles darf, je nachdem, wie du das aufmachst.
10:53 Bei mir darf es das alles auf meinem Dev-Server. Dann macht es halt einen Container auf, testet das live, führt das durch und kommt zurück mit dir mit einer Antwort, die das hättest du selber so schnell gar nicht gemacht. So, und diese neue Art, dass du quasi promptest direkt in deinem Repository oder sogar über Repository-Grenzen hinaus.
11:11 Dazu erzählen wir später was. Das ist überhaupt erstmal ein Killer-Enabler. Das gab es quasi technisch vorher nicht so. Und mit dem vorausgesetzt kann man das machen, was Kevin gesagt hat, was dann ja noch eine Lockstufe steiler ist. Aber das wollte ich noch mal den Zuhörern mitgeben. Für alle, die developen, ist das vielleicht schon ein kalter Kaffee wieder, aber der Kaffee ist halt trotzdem auch nur zwei Monate kalt.
11:31 Also wenn man jetzt nicht gerade dabei war, dann sind es vielleicht trotzdem News, die man jetzt nochmal mitnehmen kann. Kevin, du hast gerade schon Astra in den Mund genommen als Modell. Ich glaube, das neueste von OpenAI. Burkhard hat Fable 5.1 genannt. Ich frage mich so von außen, nicht ganz von außen, ich habe auch schon jetzt probiert zu coden in Anführungszeichen.
11:51 Also macht das eigentlich Sinn, immer in dem neuesten Modell zu arbeiten oder ist es eigentlich schon noch irgendwie clever, wenn ich jetzt mit AI Code oder Software erstellen lasse, sagen wir es mal so, immer mal zu wechseln für bestimmte Aufgaben oder also auch um einfach Geld zu sparen und vielleicht schneller zu sein oder sowas.
12:08 Wie ist das, Kevin? Also ich persönlich würde jetzt so ein bisschen, ich glaube Pareto-Prinzip heißt es, oder? 80-20. Kommt drauf an, was du machen willst, oder? Wenn du fein bist mit den ersten 80%, dann kannst du so ziemlich jedes neuere Modell nutzen aktuell und sparst dir viel Geld und Tokens. Aber wenn du jetzt wirklich irgendwo in einem hardcore-kompetitiven Environment bist, wo du wirklich schauen musst, ich muss jetzt da wirklich das letzte Prozent rausholen, dann sind solche Modelle natürlich super.
12:45 Super, wenn wir jetzt gerade über so Dinge, wo wir jetzt gerade rumspielen, wie kann ich denn die Hero-Section von unserer Webseite noch mehr visually appealing, also noch cooler machen. Ich sage, okay, bleibe auf der Webseite noch ein paar Sekunden länger oder klicke vielleicht auf das Kontaktformular und schreibe uns.
13:05 Das ist Geld und da lohnen sich die letzten drei Prozent. Da helfen mir die 80 Prozent wenig. Da muss ich wirklich rausstechen, da muss ich sagen, hey, das muss so perfekt wie möglich sein und da ist jeder Token wahrscheinlich gut investiert. Also ich würde das auf den Task auslagern, ganz ehrlich. Ja, sehe ich auch so, aber es ist halt so, also wenn du es haben kannst, also die Kosten sind ja noch überschaubar, wovon sprechen wir denn, also die Tokens gegenüber einem Mitarbeiter, Seniorentwickler, der kostet mich 120, 140, 150.000 Euro im Jahr oder irgendwas, ja, so und das kosten mich die Tokens nicht auch beim krassesten Modell, was ich nehme und ich sehe auch keinen Grund, ja, es gibt manchmal ganz stupide Tasks,
13:50 wo, was weiß ich, wo irgendwie Dokumentation runtergeschrubbt werden muss, dann nimmst du halt das Opus, ja. Aber allen anderen willst du ja eigentlich, wenn du als Firma bist, irgendwie schon das auch so cool machen wie möglich. Also so sehe ich es. Also ich bin immer schon, keine Ahnung, wenn ich mal auf einem anderen Modell bin, dann immer nur kurz.
14:05 Auf ein schlechteres gehe ich schon wieder zurück, weil ich mir denke, das geht vielleicht dann sogar noch einen Schluck besser. Jetzt klingt es fast so, als [unverständlich] Prozesse eigentlich völlig, also nee, anders. Ein Prozess ändert sich eigentlich insofern, dass eine Planung vielleicht noch viel wichtiger ist jetzt, als die Ausführung so an sich.
14:22 Du hast ja schon gesagt, Kevin, du brauchst Acceptance Criteria. Bei uns sehe ich das auch im Produkt. Es ist immer ganz, ganz wichtig, dass ich eigentlich gut beschreibe, was ich brauche und was ich will. Wobei manche Modelle auch schon mitdenken und auch ein bisschen erahnen können, was man eigentlich möchte.
14:36 Also mitdenken ist ein komisches Wort in dem Kontext, aber das tun sie ja. Also wie verändern sich so Prozesse eigentlich in der Softwareentwicklung? Also meiner Meinung nach sind wir jetzt an einem sehr spannenden Punkt. Irgendwie ist es wichtiger denn je, Dinge vorher zu spezifizieren. Ja, jetzt aber weniger aus dem altherbeigebrachten Grund, dass es einfach extrem lange dauert, ein Feature zu entwickeln, sondern vielmehr, weil es halt einfach unter Umständen höhere Codequalität auch bedeutet, ja, weil AI eben durch Kontextfenster und so weiter auch gegebenenfalls älteren Code mal übrig lässt oder zwangsweise versucht, kompatibel, also rückwärtskompatibel zu bleiben und eigentlich Code drinnen lässt, den du jetzt
15:23 eigentlich nicht mehr haben möchtest.
Wie arbeiten Menschen und mehrere Agenten gemeinsam am gleichen Code?
Diese Stelle ansehen · 15:0015:24 Also eher aus dieser Warte, aber ansonsten hast du ja eigentlich heute die Möglichkeit, fast noch agiler zu agieren. Also wo du früher gedacht hast, wenn dir der Kunde geschrieben hat, das Frontend muss jetzt doch ganz anders ausschauen, [unverständlich] die Haare ausgerissen hast. Das gibt es nicht.
15:41 Ist jetzt nicht mehr so tragisch. Da denkst du mal, rollst die Augen und dann haust du es rein. Also in der Hinsicht würde ich sagen, haben sich Prozesse dahin gehend, also es kommt auch auf die Firmengröße und so weiter und aufs Projekt und alles drauf an, aber man kann halt, man hat die Möglichkeit viel agiler zu agieren und Dinge leichter zu ändern und noch kundenorientierter zu sein und das glaube ich ist was Cooles.
16:12 Wie funktioniert jetzt bei euch Zusammenarbeit eigentlich im Team? Also kannst du ein bisschen Einblick geben in eure Agentur? Wie viele Leute seid ihr? Arbeitet ihr auf einzelnen Kunden und Projekten dann gemeinsam auch am gleichen Code oder sind da mehrere Agenten am Werke? Also wie funktioniert das eigentlich so Zusammenarbeit in Zeiten von AI?
16:29 Da würde ich fast sogar schon sagen, und Burkhard, da bin ich ja auf deine Meinung gespannt, ist ja fast schon eine Schwierigkeit, war sie immer schon, wenn mehrere Menschen oder in dem Fall jetzt auch Agenten am gleichen Code oder ähnlichen Code gleichzeitig arbeiten. Deshalb gibt es ja Git, also ein Version Control System, was schaut, okay, jetzt hat es diese Änderung gegeben und diese Zeilenänderung und wie füge ich das jetzt alles zusammen?
16:54 Und glücklicherweise gibt es das schon. Also es gibt jetzt natürlich auch AI-Native-Git-Äquivalente, die was jetzt da irgendwie links und rechts aufpoppen. Aber wahrscheinlich wird es bei Git bleiben, nehme ich jetzt mal an, zumindest mal aktuell. Und da ist es halt zumindest bei uns so, dass wir jetzt sehr viel mit Isolated Worktrees arbeiten.
17:16 Das heißt, das ist halt schon ein Git-Branch, wo sozusagen die Code-Umgebung isoliert wird, aber auch lokal mehrere Änderungen gleichzeitig isoliert stattfinden können. Das heißt, ein Agent kann jetzt nicht mit den Code-Änderungen vom anderen Agent intervenieren und dadurch entstehen Probleme, wenn man das dann zusammenfügt.
17:41 Das ist der operative Teil von dem Ganzen. und der vorgelagerte Teil, den finde ich eigentlich fast nochmal spannender, ist dieses, einen Orchestrierungsagenten oder einen Prozess zu haben, der sagt, okay, in welcher Reihenfolge sollten die Issues vielleicht umgesetzt werden, was kann parallelisiert werden, ohne dass jetzt wirklich die gleiche Zeile gleichzeitig editiert wird und so weiter und so fort.
18:08 Da kann man auch sehr viel Tokens sparen, weil sich dadurch halt dann auch Iterationen sparen lassen. Also das sind, glaube ich, so die zwei größten Punkte, was jetzt wirklich mehrere Agenten betrifft, die jetzt gleichzeitig am Code arbeiten. Was denkst du, Burkhard? Ja, du bist aber noch mehr in der Zukunft, glaube ich, schon einen Schritt weiter, sage ich mal.
18:32 Du hast ja schon den Menschen ganz rausgenommen aus der Gleichung. Bei dir ist ja jetzt schon der Planungsagent dabei, das zu machen, was ich zum Beispiel noch händisch mache. Wir haben noch ein Board, wie man das so schön sagt, ein Kanban-Board, was aber anders ist als früher, da sage ich gleich was zu.
18:47 Aber wer da, welche Features sich dafür qualifizieren, da drauf zu kommen und in welcher Reihenfolge welche Bugs abgearbeitet werden, mache ich zum Beispiel noch höchstpersönlich. Bin da also der Orchestrator noch als HI, Human Intelligence und gebe das dann quasi rein, auch parallel gerne und so weiter, aber das orchestriere ich gerne noch ein bisschen.
19:07 Meine Meinung so ein bisschen ist aber, hatten wir auch im Vorgespräch gesagt, gesagt, so gefühlt, ich mache mal so ein Bild auf, gefühlt sind quasi eigentlich alle Lehrbücher, alles, was man so über die 30 Jahre gelernt hat, und ich mache das ja auch schon nicht kurz, so von Software Engineering und da gibt es ja wirklich dicke Bücher und Clean Code und der ganze Raffelara Dutch, die kannst du halt einfach ungebremst in die Tonne treten.
19:32 Ungebremst in die Tonne treten. Da ist ein bisschen Wahrheit drin, aber diese Wahrheit ist quasi schon gelernt und trainiert in die KI, die können schon sauber Code schreiben. Also ich sagen will, dass dieses Engineering, was ja darauf aufgebaut war, über Menschen und Teams das zu machen, ich finde ja sogar, das habe ich immer schon gesagt, so ein bisschen, also im Team die gleiche Software zu entwickeln, das ist ja so wie, das fand ich schon immer früher schwierig.
19:56 Das ist so, wie wenn du jemandem sagst, ihr schreibt jetzt einen Roman mit zehn Leuten.
Wie sorgen Quality Gates für einheitlichen Code?
Diese Stelle ansehen · 20:0020:00 Der muss aber von der Stimmung her und von der Text und von der Grammatik und von dem Stil her, wie ihr das schreibt, am besten Falle so sein, dass kein Leser das merkt, dass ihr das zu zehnt geschrieben habt. Und ihr agreet euch gefälligst über die Kapitel, wer da was schreibt. Und wenn jemand da irgendwie ein Problem findet mit der ganzen Storyline und so weiter, dann muss es irgendwie verbessert werden und so.
20:18 Also bei dem Bild kann man sich vorstellen, dass das, wenn das wirkliche Menschen machen, nur mehr oder weniger geiler Roman wird. Und das ist ein bisschen ein krasses Statement, aber ich habe das schon immer gesagt, ich habe gesagt, wenn du sagst, der Roman, man könnte auch sagen, die Symphonie, die du komponierst oder irgend so was, wenn die halt wirklich geil sein soll, einen roten Faden haben soll und den gleichen Ausdruck, die gleiche Sprache, denn Programmiersprache ist wie normale Sprache, du kannst halt deine Stile haben und Arten und Weisen, wie du irgendwas aufbaust, das kann man auch gar nicht bewerten, ob das cool oder schlecht ist, das ist halt einfach dein Stil, Geschmackssache, wie beim Lesen von
20:54 Romanen halt auch. aber wenn du das halt toll machen willst, dann ist es halt einer, der das macht. Im gleichen Stil. Und für mich die eleganteste, beste, schönste Software ist halt aus einem Guss, von hinten bis vorne. 500.000 Zeilen Code, die einer Art und Weise zu korrigieren entsprechen, immer wieder die gleichen Konzepte aufnehmen, axiomatisch, generisch aufgebaut ist, mit Namen, die immer wieder gleich sind, mit Conventions von Files und Namings und so weiter, die alle exakt über 500.000 Zeilen gleich ist.
21:22 Das ist halt früher, Früher war das dann so ein Single-Man-Knaller-Projekt. Und dann haben sie mal gesagt, böse, böse, das darfst du nicht alleine machen und so weiter. Es gibt aber gute Beispiele auch in Open Source, zum Beispiel der Linux-Kernel. Also das ist nicht so, dass er den selber geschrieben hat, der Linus Torvalds, aber er hat zum Beispiel den Kram halt hart durchgefiltert, sodass es halt so ist, wie er sich das vorstellt.
21:42 Und dadurch entsteht halt ein großer Block kohärentes Software, die halt dann wartbar wird. Und dieses Wartbar-Wird, das würde ich gerne mal in die Hand nehmen, das ist nämlich jetzt Key, finde ich. Also mein Prozess ist, den Code so zu schreiben, dass KI den gut verstehen kann. Ist ja scheißegal, also es wird keine Menschen mehr geben, die den Code irgendwie verstehen müssen oder den manuell bearbeiten.
22:04 Also jetzt hast du erst endlich die Möglichkeit, komplett ein kohärentes Stück Software zu machen. Und wenn du das jetzt schon hattest, finde ich, und wir haben das Glück, dass wir noch Glück und Pech, wir waren noch nicht groß genug, also viel von so einem Code habe ich halt quasi selber geschrieben.
22:19 Das heißt, vieles ist irgendwie für die KI, die rafft halt diese Patterns und dann sehr verständlich und dann kannst du das ausbreiten. Und insofern zu den neuen Prozessen, ich würde jetzt fast sagen, wenn jetzt ein neues Projekt angeht oder du ein ganzes Stück neues Software coden würdest, dann würde ich es immer nur noch einem Human Brain geben, das einmal seinen Wishes und so weiter da reinlegt.
22:43 muss natürlich jemand sein mit Erfahrung und der das ganze Ding durchzieht von hinten bis vorne, weil dann, weil das dann die KI sehr gut verstehen kann und hat nicht so einen Hackmack und verschiedene Namen und so weiter, muss nicht raffen, dass da zwei drin sind und so weiter. Und das kannst du halt heute machen, früher wäre es halt irgendwie, ist genau eigentlich kontra, was du früher gesagt hast, immer gesagt Team abdecken, Busproblem, was ich das ganze Graffel, da gibt es nicht mehr, macht KI, ja.
23:06 Ja, also einer überwacht das, ein homogenes Ding, Testabdeckung, die lässt die Tests halt von der KI schreiben, guckst dir die an, so wie Kevin das gesagt hat, machst die ganzen Quality-Checks und dann hast du ein Stück Software, das gab es so vorher noch nicht, das hättest du nicht hingekriegt als Human [unverständlich].
23:21 Das ist einfach so. Das ist meine Meinung dazu. Du hast jetzt auch was total Spannendes gesagt und das finde ich ist fast schon noch ein bisschen underrated aktuell. Das sind Quality-Gates, das ist irgendwie so ein fast schon Hype-Begriff schon wieder. aber wenn man jetzt eine gewisse Vorstellung hat, wie der Code zu sein hat, ja, zum Beispiel, es ist, KI tendiert dazu, Dateien einfach immer länger zu machen, ja, auch die guten Modelle.
23:49 Wenn du so ein Quality-Gate machst, okay, Datei darf nicht länger als wie [unverständlich] Zeilen haben, ja, und da läuft ein Skript, ja, und das wird halt dann immer, wenn du das hochlädst auf GitHub, wird das ausgeführt und sonst schlägt das fehl, dann ist KI gezwungen, sich daran zu halten. Und zum einen spart es Tokens und eben Wartbarkeit, Codequalität und so weiter.
24:12 Und das kannst coolerweise mit der KI jetzt eigentlich für alles machen. Variablennamen und alles mögliche. Dinge, die wenn du jetzt wirklich ein Team hättest oder einen Entwickler hast, nach ein paar Tagen steigt dir der aus, weil er sagt, hey, geht’s noch? Also wollen wir ja weiterkommen, oder? Und nicht, dass da wegen der, das geht gar nicht.
24:37 Ja, da gibt es Befindlichkeit, das weiß man ja auch nur, wenn man in einem Business ist, religiös, was Entwickler für verschiedene Meinungen haben, die sind manchmal orthogonal, wie Variablen benannt werden haben oder ob die dann Unterstrich vorkriegen oder nicht und so weiter, völliger Klimbim, ja, aber ultra wichtig für, und ultra kacke für die KI, wenn das halt mal so ist und mal so, ja, und genau.
24:57 Genau. und du kannst aber diese Regeln vorgeben, genau,
Wie definiert man Quality Gates als Regeln, Projektdateien und harte CI-Checks?
Diese Stelle ansehen · 25:0025:01 und die KI, das finde ich auch, Quality-Gating, also damit, das ist quasi der Hauptteil meiner Arbeit gerade, ist festzulegen, wann ist was gut für die KI und das kannst du ihr sehr stark vorgeben, die hält sich auch daran. Manchmal versteht sie dich falsch, genau deswegen musst du ab und zu noch auf die Finger gucken, weil du zu irgendwas Go gesagt hast, wo hat sie sich verschwurbelt gefragt und dann fühlt sie sich enabled, mehr zu machen, als du eigentlich festgelegt hast.
25:25 Aber das funktioniert hervorragend, genau. Ich kenne Quality Gates wirklich als Gate, als Tor, durch das man durchlaufen muss, um zu diesem Zeitpunkt irgendwie bestimmte Dinge erledigt zu haben oder so in so einem Projekt oder sowas. Aber ich verstehe Quality Gates hier eher als so Regeln, die sich zu halten sind.
25:43 Wie definiert man die denn? Für die, die vielleicht noch nicht so weit sind, tippe ich das einfach in den Chat ein oder hinterlege ich das in so ein Projekt als Kontext? Wie kann man sich das vorstellen? Ich sage dazu zwei Dinge. Also es gibt, das muss man wissen, wenn man zum Beispiel mit Anthropic jetzt arbeitet, mit Claude Code, dann gibt es ein sogenanntes Memory-System.
26:01 Und du hast ja, also das muss man wissen, man hat Sessions und dann gibt es Memories und so weiter. Das sind alles so Konzepte. und wenn du jetzt für dich persönlich als Nase, als Burkhard, wenn ich sagen will, ich arbeite mit Anthropic und ich habe diese Regeln und so weiter, dann kann ich das Anthropic zum Beispiel sagen, Claude, ich sage jetzt, pass mal auf, memorize mal die und die Regeln hier.
26:22 Und es ist nicht so, dass das in der Session dann irgendwie evaporiert und er das nur für die Session macht, sondern er schreibt tatsächlich, so funktioniert es technisch, er schreibt im Hintergrund MD-Files, Markdown-Files, also ganz normale, schlichteste, was man halt so machen kann, Text-Files auf, wo diese Regeln reformuliert ganz stark drin stehen, die ich ihm vorgegeben habe.
26:41 Und wenn ich mit ihm prompte, hält er sich da auch dran. Und du kannst diese Regeln dir ausgeben lassen, du kannst die ändern und so weiter und so fort, aber die sind gesetzt. Die sind auch Session-übergreifend. Das kannst du auch machen. Also dann kannst du quasi, Sessions ist ja quasi zum Beispiel, also ich teile die Sessions so aus, dass ich typischerweise irgendwas attackiere, irgendein Issue, also entweder ein Feature oder ein Bug in eine Session rein, holt er sich den Kontext ab, macht das alles und so weiter.
27:05 Und meine Regeln, die ich ihm gesetzt habe, liest er trotzdem mit. Das sind aber meine Regeln. Und dann, um die Frage noch kompletter zu beantworten, kannst du quasi auch Teamregeln implementieren. Und das kannst du machen zum Beispiel, indem es, das ist auch eine, ich schätze, das ist tatsächlich Teil der SDK von Anthropic, dann schreibt er ein großgeschriebenes CLAUDE.md-File in dein Repository mit rein, also oben rein.
27:29 Und wenn es das gibt, wird quasi jeder Session, jede Session, jeder Assistent, jeder Session gezwungen, dieses CLAUDE.md erstmal zu lesen und sich daran zu halten. Das heißt, wenn jetzt quasi mehrere Assistenten oder verschiedene Mitarbeiter, die jeweils ihren Claude haben, dann quasi an einem Repo arbeiten und lesen dann dieses CLAUDE.md, dann ist das erstmal fest.
27:51 Wir haben das zum Beispiel auch. Wir arbeiten ja noch klassisch mit [unverständlich] Entwicklern so und ich habe ja gesagt, das ist Monorepo. Und diese Grundsatzregeln, zum Beispiel eine davon ist, du darfst gar nichts in den Master-Branch pushen, lokal von dir aus, wenn nicht alle Unit-Tests, Integration-Tests und End-to-End-Tests bei dir grün gelaufen sind.
28:11 Wenn die nicht grün sind, wird nichts gepusht nach oben. Da musst du nochmal nacharbeiten bei dir lokal. Das zieht der knallhart durch, der pusht das dann auch nicht. Du kannst ihm sagen, was du willst. Er weiß dann, dass du den ganzen Test laufen lassen musst, dann sagt er dir, all gates green, so sagt er es meistens, we can push it und dann go for it, zum Beispiel.
28:28 Kevin, es klang so, als wärt ihr bei OpenAI, ne? Funktioniert das da ähnlich oder wie läuft das bei euch dann mit so Quality-Gates? Also wir haben beides. Also ja, AGENTS.md, CLAUDE.md und die ganzen Geschichten, das haben wir natürlich auch. Bei uns, also so gewisse Quality-Gates sind bei uns Hard-Gates, würde ich es jetzt einfach mal nennen.
28:51 Das heißt, das ist wirklich wie ein Test. Das ist ein Skript, was Claude oder Codex geschrieben hat. und sagt okay, der sucht alles durch, einen Code, und wenn das nicht zutrifft, dann schlägt das Fehler. Also wie ein Test, so zu sagen. Ja, ja. Und so was hast du früher natürlich selber jetzt nicht unbedingt geschrieben.
29:13 Dafür war es zu unwichtig, dann fast schon wieder irgendwo. Die Entwickler hätten sich aufgeregt. Aber so kannst du es halt machen. Und so [unverständlich] die AI halt hart. Ja, also wenn die CI-Fail schlägt, dann und Ziel nicht erfüllt. Oder eben die Unitests. Wenn die ausgeführt waren und einer davon ist vielleicht sowas, kann man ja auch unter Umständen so lösen.
29:37 Das ist ein hartes Gate. Ja, und dadurch kriegst du hohe Qualität. Wenn du viele Gates hast, viele gute Gates, dann führt das dazu, dass das so lange refaktorisiert wird, bis es alle Gates erfüllt. Wenn sich jemand die Gates gut ausgedacht hat, ist das dann schon gut. Ich habe zum Beispiel noch eins drin, damit man das mal so ein bisschen in die Hand kriegt.
29:56 Das eine war offensichtlich, ganzen Tests und so. Diese Scripts haben wir natürlich auch,
Kundendaten im Repository und die Zukunft der Softwareagenturen
Diese Stelle ansehen · 30:0030:00 alle möglichen Sorten von. Dann hast du ja immer so einen Klassiker, wenn du viel mit KI arbeitest und Kunden hast, passiert dir schnell mal, dass du irgendwie irgendwas in den Prompt geschrieben hast, der Kunde so und so, das und das oder sowas. Oder du hast ein Requirements-Document, was in einem Issue stand, wo dann irgendwelche Datenpunkte, die privat eigentlich zu einem Kunden sind, irgendwie als Bug-Report quasi im Report mit drin sind.
30:23 Und die KI übernimmt zum Beispiel in der Dokumentation vielleicht nur oder aber auch in einem Test, die Namen dieser Kundendatenpunkte. Das ist etwas, was du nicht in deinem Repository haben möchtest. Aus Gründen, klarerweise. Und jetzt haben wir zum Beispiel auch ein Gate, wo ich sage, du checkst das durch, bevor hier überhaupt was grün wird, musst du gucken, ob es hier irgendwas gibt, was so aussieht wie ein [unverständlich] Datenpunkt oder Name von einem Kunden oder irgendetwas.
30:47 Das muss alles generalisiert und anonymisiert werden. Und auch das schnallt die KI. Das ist überhaupt kein Problem. Im Notfall gibst du ja eine Liste von deinen ganzen Kunden. Aber da muss man halt, das ist glaube ich, die neue Kunst. Ich glaube, alles ist auf Reset. Seitdem jetzt, seit zwei Monaten oder so was, seitdem das halt so läuft, wie es läuft.
31:08 Alle stehen quasi neu an der Ziellinie und rennen los und müssen gucken, wie baue ich jetzt meine Prozesse neu hin mit diesen ganzen Möglichkeiten, die ich habe. Die vorher halt nicht umsetzbar waren, einfach weil, Kevin hat es gesagt, die Entwickler hätten dir eingehustet. und du musst ja irgendwo fertig werden und so weiter.
31:24 Aber fertig werden ist halt nicht mehr das Thema. Software herzustellen ist blitzschnell. Wir haben nicht einen Faktor 10, wir haben locker Faktor 80 oder vielleicht noch mehr, ich weiß es nicht, aber das ist einfach nicht mehr der Engpass. Den Code kann ich hin und her würfeln, wie ich lustig bin. Es kostet mich höchstens ein bisschen Geld, aber es ist zeitlich scheißegal.
31:43 Also kann ich mich auf andere Sachen fokussieren und die muss ich gut hinkriegen. Und die waren früher in den Prozessen ja gar nicht so vorgesehen, weil hinten dran. Wir haben erst mal versucht, überhaupt irgendwas fertig zu schaffen. Aber da müssen wir ja mal ganz ehrlich sein. Also Kevin, ihr seid eine Agentur.
31:58 Ihr seid jetzt nicht hunderte von Leuten, sondern eher paar. Klein, aber fein. Genau. Klein, aber fein. Wir sind klein, aber feine Softwarefirma. Machen auch teilweise kundenspezifische Sachen. Deswegen hier und da mal im Agenturmodus bekannt, sage ich mal. Und wenn ich mir jetzt aber so eine große Softwarefirma vorstelle, was weiß ich, Spotify, habe ich mal einen Artikel drüber gelesen, dass die so tolle Entwicklungsprozesse hätten und so tolle Teams, die irgendwie miteinander super harmonieren und agieren und so.
32:26 Das können die ja tatsächlich auch einfach in die Tonne kloppen, oder? Und wenn ich höre, was in den letzten zwei Monaten so passiert ist, sagt er, er hat sich nochmal so viel getan, es muss doch irgendwann diese große Welle der Entlassung eigentlich kommen in der ganzen Softwarewelt, oder? Oder der Umstrukturierung würde man wahrscheinlich dann ein bisschen positiver sagen, auch wenn die bisher noch nicht da war.
32:46 Glaubst du nicht, dass die schon war? In den letzten ein, zwei Jahren hat es ziemlich viele Also ich spreche jetzt nur für uns. Wir waren ja früher viel größer. Wir waren ja 10, 11 Leute sowas. Und wir haben uns bewusst downscaled, weil wir der Meinung sind, Softwareagenturen oder generell Agenturen zwischen 5 und 30 Leuten, also Agenturkollegen sagen sogar bis 50 teilweise, die werden wirklich Probleme bekommen, weil du bist zu klein für die ganz, ganz, ganz, ganz großen Enterprise-Projekte.
33:21 und du bist zu groß für viele kleine Projekte und hast aber trotzdem eine verhältnismäßig also recht große Kostenstruktur. Und meiner Meinung nach wird es einfach viel mehr kleine Unternehmen geben, die aber ganz ein anderes Projektvolumen umsetzen. Ich sehe es bei uns, wir haben mehr Projekte und mehr Kunden denn je.
33:46 Das Budget, also das Budget jetzt nicht zwingend, aber unsere Angebote sind natürlich ein bisschen umfangreicher, weil wir halt schneller und mehr umsetzen können für kleinere Kosten. Aber so geht es ja jedem, oder? Und ich glaube, dass es einfach dahin geht. Und dass die Leute einfach mehr Software bauen.
34:07 Also die ganzen Vibe-Coder und so weiter. Also die Leute werden einfach mehr enabled, dass sie Dinge ausprobieren, dass sie mehr experimentieren. Ich glaube, es ist einfach mehr Mut da, weil es jetzt nicht immer die Standardantwort ist, weil jede Software kostet mindestens 10.000 Euro. Das glaube ich ist jetzt weniger der Fall.
34:30 Also gerade so ganz Kleinigkeiten, Prototypen und so weiter. Warum nicht Vibe-Coden? Also wirklich, wenn es nur ein Prototyp sein soll. Und das ist glaube ich jetzt der große Wandel. und ja. Also dieses Wort Vibe-Coding, das ist ja eigentlich noch so ein schwieriges, das impliziert ja immer, also lass uns das mal kurz ein bisschen definieren.
34:50 Ich finde immer, Vibe-Coding sollte man dann nehmen, vielleicht wenn jemand Software versucht zu erschaffen, der von der Materie tatsächlich gar keine Ahnung hat. Das meine ich auch, ja. Genau, okay, perfekt.
Warum muss man Firmenprozesse neu denken, und wird Fokus zum Engpass?
Diese Stelle ansehen · 35:0035:00 Dann passt es, dann bin ich dabei, du kannst Vibe-Coden, was du willst, wenn das für dich ist und so weiter. Wenn du das machst ohne Ahnung im Agentur-Business, ist, das geht nicht. Aber ich würde sagen, es ist schwierig, genau. Und hier ist genau noch das, wo man sagt, okay, da brauchen wir dann aber halt nicht mehr viele Leute.
35:19 Was braucht es dann? Es ist halt mindestens ein, der die Sache genau versteht, der hat genau diese Regeln, die Quality Gates hat, der verstehen kann, ob das jetzt für diesen Fall sicher ist, der auch noch mal was Globales hinterfragt. Manchmal ist KI einfach dann auch, hat so die Scheuklappen auf und wir haben irgendwie ganz vergessen, dass wir irgendwie, was weiß ich, eine [unverständlich] Integration noch machen müssen.
35:39 oder oder, was weiß ich, keine Ahnung. Ja, aber das sehe ich auch so. Es ist eigentlich sogar ein Qualitätsvorteil, nach dem, was ich vorher gesagt habe, mit viele Köche verderben den Brei und mit wenig Leuten, die sehr effizient zusammenarbeiten, bist du vielleicht besser angeschrieben. Und dazu gehört dann, das haben wir auch ein bisschen, ich habe das rot angemalt, Prozesse.
36:01 Und Prozesse heißt ja nicht nur Prozesse direkter Softwareentwicklung, sondern wenn du das richtig cool machen willst, eine Softwarefirma bist, dann drehst du alle Prozesse in deiner Firma, also auch die Sales, Marketing, Projektmanagement vor allen Dingen Prozesse, das Requirements Engineering und all dies auf den Kopf.
36:19 Und das haben wir auch gemacht. Wir sind noch dabei, aber das muss man einfach mutig machen. Und dann kriegst du noch andere Sachen. Ich teaser das ein bisschen mal. Man kann auch sagen, ein Projekt ist gar nicht ein Repository beim Kunden. Ein Projekt ist ein Repository als Projekt. Der Kunde ist ein Repository bei Git.
36:37 und an dieses Repository, was jetzt über eine KI gemanagt wird, sagen wir mal nochmal Claude Code, aber eigentlich ist es wurscht, wer, hänge ich mir jetzt, diese MCP-Server, hatten wir auch schon mal eine Folge, also ich habe eine zentrale KI, das ist mein Gehirn und jetzt hänge ich mich raus. Ich habe einen MCP für meine E-Mails, für mein CRM-System, für meinen tatsächlichen Coder und, und, und, und, und.
37:00 Dann sitze ich quasi auf so einem zentralen Ding, ziehe mir die ganzen Informationen rein, auch ein Requirements-Engineering, neue E-Mails kommen rein, du hattest ein Meeting, es wurde auch aufgezeichnet, es gibt ja alle Tools, du musst die alle zusammenwerfen. Das Meeting wurde aufgezeichnet, transkribiert, abgelegt, das hat ein MCP-Server, damit updatest du in einem Cronjob gleich wieder dein Projekt.
37:18 Da brauchst du nur reingehen und sagen, was liegt denn an? Der weiß ganz genau, das und das wurde besprochen, das und das musst du machen. Die Issues habe ich dir schon angelegt, sollen wir loslegen? Go. Du sagst eigentlich immer nur noch Go. Und das meinte ich mit, das muss man alles halt komplett neu denken.
37:32 Und wer das nicht neu denkt, der Zug fährt schneller ab, als du das Rücklicht sehen kannst, glaube ich. Du musst irgendwie Gas geben. Ich habe davor, ich glaube, das ist auch schon wieder sechs Monate her, und ich glaube, da sieht man dann auch den Unterschied zwischen Silicon Valley und so einem Standardfall bei uns.
37:54 Vor sechs Monaten kann ich mich an ein Gespräch erinnern, wo es geheißen hat, hey, ich habe so und so und so viele AI-Agents laufen und mein Bottleneck ist jetzt eigentlich nur noch Fokus. Ja, weil ich schaue dem zu und dann ist der fertig und der und der und der und der. Wenn da 50 oder 100 Agents laufen, dann wird es halt irgendwann echt heftig, ja, also dass du da noch den Überblick behältst, ja.
38:21 Und, klar, wie gesagt, das ist jetzt alles in Annahme, dass es so billig bleibt, ja. Alle wissen, dass es natürlich oder wahrscheinlich unwahrscheinlich so bleiben wird. Aber sieht mal einfach. Fokus ist vielleicht wirklich das wahre Bottleneck in future. Was will ich wirklich? Was will ich nicht? [unverständlich] das auch erfüllt.
38:45 Ganz kurze Pause. Gefällt dir, was du hörst? Dann lass uns doch eine Bewertung da auf Spotify oder Apple Podcasts. Das hilft uns ungemein, dieses Projekt neben unserer Company Heisenware weiter voranzutreiben. Danke dir. Wie funktioniert das? Du sagst 50 bis 100 Agents werden von einem Entwickler quasi losgeschickt, orchestriert?
39:05 Das war jetzt kein Entwickler, das war sogar ein Produktmanager. Erklär mal ein bisschen, wie kann man sich das, das ist für mich noch so ein bisschen ein, zwei Schritte weiter, was brauche ich dafür technisch, wie funktioniert das eigentlich, bin ich immer noch in meinem Chatfenster, schicke die los, strukturiere ich meinen Code dafür, führst du da mal ein bisschen tiefer rein, wie sowas aussehen kann?
39:22 Es kommt ja zuerst einmal darauf an, ist es das gleiche Projekt. Oder hast du da jetzt vielleicht fünf Kundenprojekte vor dir, dann bist du gleich mal oben. Dann ist das ja gar nicht jetzt mal so herausfordernd, rein vom Strukturellen her. Die Hauptherausforderung ist ja meistens eher Context Management und dass du das auch kostentechnisch gut abbilden kannst.
39:45 Das ist eigentlich die wahre Herausforderung. Wenn du jetzt ChatGPT Astra für 24, also ich lasse das 24 Stunden laufen, Medium Effort, leer. Das ganze Weekly-Kontingent leer. Und wie gesagt, momentan
Wie orchestriert man viele Agenten und spart Tokens mit Code-Maps?
Diese Stelle ansehen · 40:0040:00 sind sie ja recht großzügig auch mit den Tokens, darf man auch nicht vergessen. Entsprechend sehe ich das meistens als Hauptherausforderung. Jetzt aber rein technisch, wenn man sagt, ich will jetzt 50 bis 150 Agents sinnvoll einsetzen, gibt es verschiedene Wege. Zum Beispiel, wir haben jetzt ein Fintech-Produkt gebaut, für den US-Kunden in den letzten sechs Monaten.
40:26 Und da war Security natürlich das absolut Wichtigste. Und da hat es auch den Security Auditor und Externen und alles gegeben. Aber natürlich haben wir intern auch sehr viel iteriert und analysiert. Und was Claude zum Beispiel da hat, vor allem wo es neu rausgekommen ist, war dieses Ultra-Code. Ja, das war ziemlich cool.
40:48 Das haben wir dann mit Fable und auch mit Opus ganz normal ausprobiert. haben wir, hast gleich mal 150 Agents gleichzeitig laufen und die durchforsten die ganze Codebase nach Security Issues und nach Bugs und keine Ahnung was und ja, dann hast halt deine GitHub Issues oder die sind schon gelöst oder wie auch immer, was halt gepromptet hast.
41:08 Und sonst gibt es natürlich, also es gibt bei Codex und so weiter, kannst ja auch Subagents spawnen und so weiter, macht er auch oft automatisch. Aber wie gesagt, die Hauptherausforderung ist ja eigentlich eher so dieses Orchestrieren dann über Anbieter hinweg und dass das dann effizient passiert. Da gibt es ja so eigene Modellrouter, die sagen, okay, jetzt dieses Prompt oder diese Anfrage ist jetzt schätze ich mal so komplex, das route ich jetzt dahin, weil ich glaube, dieses Modell ist gut genug, um das zu handeln.
41:40 Ergo spart Kosten. Und eben auch so dieses Context-Management im Sinne von, ich nutze Graft, Graphify, Lean Context und solche Tools, die die Codebase, also wirklich einen Graphen daraus machen. Wie du Burkhard gesagt hast, dass es halt nicht jetzt voll manuell durch die ganze Codebase immer suchen muss, sondern dass es da wirklich einen strukturierten, semantischen Graphen gibt und er findet die passende Codestelle sehr schnell.
42:11 Er spart alles Unmengen an Tokens und mit einem guten Setup kannst du da 90, 95% an Tokens sparen. Also das sind schon eigentlich Grundvoraussetzungen, würde ich jetzt sagen, dass man das hinverarbeiten kann. Das klingt ja richtig cool. Kannst du das Setup noch ein bisschen detaillierter erläutern? Klar.
42:31 Im Endeffekt klingt es komplizierter als es ist. Graphed, Graphify zum Beispiel oder Lean Context, also CTX, sind jetzt im Endeffekt Code-Mapper, würde ich jetzt sagen. Das sind einfach Tools, die installierst du auf deinem Laptop und der mappt halt deine Codebase und hält diese Map einfach aufrecht.
42:56 Wenn du Code Changes machst, dann wird dieser Graph aktualisiert oder diese Map hängt vom Tool ab. Und dadurch findet die AI dann die passende Codestelle sehr viel schneller. Also das ist der einfachste Hebel, aber wirklich eine Low-Hanging Fruit für alle Entwickler. Und ich glaube, viele verwenden es eh schon.
43:15 Aber das ist zum Beispiel nochmal der erste Klassiker. Da muss ich noch was dazu sagen, weil das trifft mich natürlich im Herzen und in dem, was wir halt versuchen zu tun mit unserem Produkt. Denn ich formuliere das nochmal auf meinen Weg. Also du hast quasi eine Codebase, die ist sehr groß und eine Codebase, Sourcecode, kann man sich halt vorstellen als die Schrauben und die Muttern und die einzelnen Verbindungsteile von einem Auto.
43:39 Und zwar alles einzeln. Es ist sehr fein detailliert alles aufgeschrieben. Und jetzt gehst du in so eine Codebase rein mit einer Session von einem KI-Assistenten und sagst ihm, ich will das und das jetzt verändern. Und jetzt muss er erstmal, weil er die Module nicht kennt, Es gibt keine Anleitung im Notfall.
43:55 Jetzt muss er sich das zusammenklauben. Das ist teuer. Manchmal sagt sogar die KI selber, das speichere ich mir jetzt in meinen Memory, weil das hat mich jetzt so viele Turns gekostet, das rauszufinden, dass du da diesen quirkigen Scheiß gebaut hast. Das ist ja voll nicht offensichtlich gewesen. Das musst du dann wirklich mit vielen Bash-Anfragen, viele Tokens verbrennen, viele Iterationen rauszufinden.
44:14 Wie funktioniert das? Was muss ich wirklich tun? Und wenn das zu anstrengend war, kommt er auf die Idee, sich selber da schon mal so ein Teil zu schreiben. Und genau dieses, was er sich da schreibt, das ist glaube ich das, was Kevin sagt, da gibt es halt quasi wieder Tools für, die tun das halt einmal statisch für deinen gesamten Code, so eine Art Read Me On Steroids, meant for AI, dann kannst du in der neuen Session reingehen und sagst, ich will das und das machen und jetzt liest die KI erstmal so eine Art Schnellanleitung von deinem Code, um zu raffen, alles klar, so springt der Hase, ich weiß schon, wo ich gucken muss, das und das kann ich weglassen, das hat damit garantiert nichts zu tun.
44:50 Das ist Tokenökonomie, da müssen wir hinkommen. Und ich glaube, dass das Konzept ultra wichtig und ultra krass ist, weswegen wir auch unsere neue Version, jetzt kurz mal an eigener Sache hier mal gesprochen,
Warum zählt Token-Ökonomie, und welche Risiken bringen Agenten auf dem eigenen Rechner?
Diese Stelle ansehen · 45:0045:01 über Heisenware, wir haben ja einen App-Builder. Und wie funktioniert der? Der ist komplett nur auf diese Graphentheorie ausgerichtet. Wir machen ja Workflows quasi, Vorwärtsgraphen von Events und Codeblöcken und so weiter. Und alles das ist festgehalten in JSON-schematisierten Blöcken für Backend-Logik, für Frontend-Logik und so weiter.
45:22 Und wenn du jetzt eine riesig gigantische Anwendung hast, die wir manchmal dann bekommen, weil wir im Industrie-Business zig Fleets von Maschinen digitalisieren und und und und und, dann bleibt aber der ganze Code trotzdem ein Sack voll sehr stark schematisierten mit ganz klaren Anleitungen verbundenes Gewebe.
45:41 Und da ist AI super mächtig und super schnell drin. Das ist nur die Antiphon von meinem Anfang, die ich gesagt habe, das greift das auf. Wenn du schematisierte, standardisierte, axiomatische, semantisch gleichmäßig benannte, nicht überraschende und obvious gecodete Sachen hast, so wie die KI halt trainiert hat, dann ist sie super krass schnell und bastelt dir innerhalb von Minuten ganz, ganz krassen Kram hin.
46:06 muss nicht andauernd Spelunking, wie es immer sagt, I need to spelunk the code. Ich muss mal runtertauchen, mir den Scheiß mal angucken, was da los ist. Weiß nicht, Raffe, kannst du halt weglassen, weil es offensichtlich ist und dann sparst du halt auch Tokens. Und ich will das zu den Tokens auch noch eins sagen, Kevin hat das immer wieder angedeutet, die Tokens sind dann stark subventioniert, muss man einfach so sagen, aus Marketinggründen, aus was weiß ich, so einem Token, also ich glaube, das, was wir alle so rechnen mit der KI, in echt, was, wenn du den echten Preis nehmen würdest, was das an Energie kostet, wenn du den Preis der Energie und jetzt musst du ja nur an die Tankstelle fahren, dann wissen wir, was
46:40 das alles kostet. Ich weiß nicht, das wissen andere vielleicht besser, ich hätte nur eine Vermutung, aber ich glaube, wir sind weit, weit unter dem, was das Token eigentlich kosten müsste. Irgendwann werden diese Token teurer werden und ich glaube, derjenige, der heute schon seine Prozesse oder seine Software oder so weiter so hinbaut, dass das tokenökonomisch halt auch ablaufen kann, dass die KI ohne viel Spelunking versteht, wo der Hase langläuft, der ist dann morgen auch gut angeschrieben, glaube ich.
47:08 Ja. [unverständlich] Stimme ich dir voll zu. Und ich glaube, ein spannender Punkt hier ist auch, dass sich viele Tokens total einfach vermeiden ließen. Also etwas, was man jetzt, glaube ich, nicht so am Schirm hat, sind auch diese CLI Tools selbst. Die haben ja auch einen Output. Die printen ja auch Sachen.
47:32 Und die sind ja eigentlich nicht für AI-Tools gedacht gewesen. Die haben ja oft mal einen riesigen Absatz an Text, was die ausdrucken und die AI muss das dann lesen. Und auch da gibt es Tools wie RTK, AI zum Beispiel, was das Ganze komprimiert und für AI effizienter macht. und spart man sich auch. Was haben sich Benchmarks?
47:54 70 Prozent, 90 Prozent für CLI-Output? Keine Ahnung. Das sind halt alles so einfache Dinge, die man machen kann. Wie hätte es anders sein können? Ihr seid natürlich beide schwer begeistert vom AI-Zeitalter, ist ja auch klar. Was sind denn noch so Fallstricke, Dinge, die nicht gut funktionieren, Sachen, wo ihr glaubt, wo sich noch ein bisschen was tun muss in Zukunft?
48:18 Oder ist das eigentlich alles super? Ich fange mal kurz an. Das ist ja ganz, ganz aktuell. Mal gucken, wann der Podcast zurückkommt und so weiter. Aber es ist ja jetzt gerade die Chefs der großen KI-Firmen selber eskalieren. Ja, und ich, jetzt muss man da mal gucken, ist das jetzt eine Marketing-Eskalierung, das kann es auch immer sein, aber immerhin sind mindestens mal die Entwickler, denen würde ich das mal abglauben, verunsichert, was da so los ist, zwecks Geschwindigkeit, zwecks, ja, die KI ist ausgebüxt und so weiter und so fort.
48:51 Ich will das jetzt nicht bewerten, aber ich will, ich will was sagen. Also es ist halt einfach so, du wirst als Entwickler halt auch bloßgestellt, ja. Also es ist halt auch schon so und du musst aufpassen, ja, die KI, die läuft halt bei dir auf deinem Rechner und du lässt sie alles machen, ja, und da hast du diese Geschwindigkeit, ja, du musst [unverständlich] Hölle aufpassen und dir trotzdem nochmal klar machen, wer ist denn das jetzt hier eigentlich, ja, also zum Beispiel [unverständlich] Anthropic, ja, du kannst halt da nicht einfach alles reinklatschen, ja, und es muss irgendwie, musst du auch schaffen, dieses irgendwie auch in eine kleine Sandbox zu packen, und das ist gar nicht mehr so einfach heutzutage,
49:27 weil das Ding, wenn es erstmal auf deinem Rechner ist, es kann halt, es kann alles mögliche machen, ja, und es kann vor allen Dingen auch alles mögliche lesen, ja, an Files und so weiter. Das macht das, was du halt normalerweise coden würdest, ja, und hast du dann ein .env-File und so weiter, wo da irgendwelche Secrets drin stehen, dann musst du, formal juristisch sind die eigentlich alle geleakt, weil [unverständlich] Anthropic das halt gelesen hat, ja, und ist ja egal, was da steht.
49:52 Das sind halt Sachen, die gehen, weißt du nicht, kannst es nicht nachvollziehen, die gehen aber vielleicht in irgendein Chatfenster hoch auf irgendeinen Server, der jedenfalls mal nicht DSGVO-compliant ist.
Welche Sicherheitsfallen entstehen, wenn Agenten zu viele Rechte haben?
Diese Stelle ansehen · 50:0050:01 So viel wollte ich mal so sagen. Das sind vielleicht noch die Sachen, da muss man auf jeden Fall nochmal neu drüber nachdenken und ganz anders drüber nachdenken, weil dieses ganze Security-Kram, auch einfach durch diese wahnsinns Geschwindigkeit, das ist vielleicht der zweite Punkt, den ich noch mache, wie schnell hat das Ding irgendwas zusammengepackt und ein neues Docker-Image und schon hingepusht.
50:19 Das kannst du dem ja alles erlauben. Das passiert sogar ohne weitere Supervision. Und jetzt muss die KI ja nur auch mal Fehler machen und aus Versehen irgendwas mit einpacken, weil es nicht in einem Punkt Docker-Ignore ist oder irgend sowas im Fall und erwischt von dir irgendwas, was es nicht hätte reinpacken sollen.
50:34 Und pupst es raus in die Welt auf irgendein Server im Internet, der dann vielleicht die Forteinstellung public hat. Das sind halt alles so neue Sachen, wo du einfach durch diese Wahnsinnsgeschwindigkeit, wäre vielleicht früher nicht passiert, weil halt da andauernd Checks sind, weil die alten Prozesse halt anders waren, da haben halt Leute drauf geguckt.
50:50 Die sollte man aber vielleicht wieder rein etablieren und sich nicht überholen lassen von der KI. Aber das sind vielleicht so die Pitfalls, hast du vielleicht gefragt, Gerrit, ich weiß nicht. Das ist jetzt eigentlich kein Fehler der KI an sich, aber es ist halt einfach was, was man Awareness haben muss.
51:04 Was tue ich hier eigentlich? Eine neue Awareness. Kevin, was sagst du dazu? Ich sehe das genau gleich. Also für mich ist, ich sehe das ähnlich wie bei Geld. KI und Geld verstärken, wer du schon bist. Wenn du vorher nachlässig mit Security warst, dann bist du jetzt erst recht. Und Also das ist einfach so Datenschutz, eben Security und generell auch Secret Management und die Geschichten, die werden schwieriger, auch das Sandboxing, wie du gesagt hast, machen ja auch schon viele mit ihren Dev-Boxes, wie du jetzt auch gesagt hast.
51:40 Da wird es auf jeden Fall hingehen, ja, weil du, weil, also ich habe das selber bei mir schon an die Spitze getrieben. Du kannst die KI ja wirklich auch im Browser herumklicken lassen, ja. Was erlaubt dir das im Endeffekt zu tun? Alles, inklusive DevOps, unangeschränkt, alles. Und zum einen, wie sandboxed man das, wenn das Ding Access hat, irgendwie über eine Browser-Session oder so.
52:15 Was kann es nicht? Ja, das ist halt genau. Also ich meine, wir müssen uns da keine Vorwürfe machen, weil das ist, also wenn es selbst den Großen, den Erschaffern so geht, dass es ausbüxt, das zeigt ja nur, dass es halt scharf und möglich ist. Wenn die AI einen Auftrag kriegt, macht das und das, klickt darum und es geht erstmal nicht, dann wird die ziemlich erfinderisch, um das gehen zu machen.
52:37 Und es wird dann der beste Hacker, den du dir vorstellen kannst und exploitet alles, was es exploiten kann. Da war es ja ein cooles Beispiel. Weißt du, ChatGPT hat ja so einen GitHub-Connector zum Beispiel. Und ich habe da mal, weil dieses Chatfenster ist ja ausgenommen von Token-[unverständlich], also geht das nicht auf deine ChatGPT-Work, also auf dein Weekly-Limit und so weiter, dass du unbegrenzt.
53:04 Und ich habe da mal gefragt, kannst du mir einen Blogpost vorbereiten und kannst das dann als PR pushen. Kann er nicht, weil der GitHub-Connector hat nur Read-Only und so weiter, aber der API-Key dahinter in dem GitHub-Connector, der kann das. Dem habe ich Schreibrechte gegeben. Und 50% der Zeit schafft er es, irgendwie ein PR zu erstellen und zu pushen.
53:30 Obwohl zum einen OpenAI das definitiv nicht möchte, auch wenn du sehr ineffizient nur so Code-Änderungen vornehmen kannst, aber du kannst theoretisch kostenlos PRs erstellen und coden. Gerade kleinere Sachen. Ich hoffe jetzt einmal, dass ihr jetzt nicht so viele Millionen Zuschauer habt, dass das jetzt [unverständlich] blockiert.
53:53 Ich finde das eigentlich ziemlich cool. Aber das zeigt eigentlich mal wieder, wie heftig die Modelle drauf sein können. Ich habe das wirklich versucht, so ein bisschen zu pentesten und habe gesehen, die haben sogar TCP, also das unter HTTP, also dem normalen Webprotokoll blockiert. Also ohne diese Websearch-Konnektoren und so weiter, hat das gar keinen Internetzugang, das Ding.
54:18 Also das ist eigentlich schon ziemlich heftig gesandboxt. Trotzdem schafft das das Ding ab und zu. 50% der Zeit. Das ist schon heftig. Okay, ihr seid euch eigentlich [unverständlich], die Fallstricke liegen darin, dass man seine KI nicht mehr, ihr zu viele der Rechte einräumt und sie nicht mehr unter Kontrolle hat.
54:38 Da liegt die größte Gefahr. Ja, zum Teil. Und dann, was ich auch sehe, wir haben so einen ganz kleinen roten Faden gemacht, wo man sich natürlich verlieren kann bei so einem Thema. Vielleicht kommen wir so ein bisschen rüber auf die menschliche Seite, das ist hier so ein Punkt bei uns auf der Agenda.
54:53 Und die kommt da auch noch mit rein. Wir hatten es jetzt angeteasert schon auch in der Diskussion und so weiter, wie sieht es aus und Quality-Checks und so weiter.
Wie behält man bei KI-Tempo als Mensch den Überblick?
Diese Stelle ansehen · 55:0055:01 Und was auch auf jeden Fall hart ist und wo man sich dran gewöhnen muss, und es kommt halt auch darauf an, wie entscheidet man sich da innerhalb der Firma, was macht man. Ich habe mir angewöhnt halt, weil wir ja ein Produkt erschaffen und mit einem Produkt vorlegen, was langlebig sein soll, was ich migrieren muss, was Bestand haben soll, dass ich halt quasi so einen Mittelweg gehe.
55:20 Also es ist schon klar, alles durch KI organisiert und gecodet. Ich code nicht mehr selber. Man fühlt sich ja schon so direkt, ich glaube später werden die Kinder sagen, es fährt alles autonom und wie konntest du nur manuell fahren, das ist ja lebensgefährlich. So ungefähr so fühlt sich jetzt schon beim Coden an.
55:34 Da brauchst du schon kaum noch irgendwas zu coden, weil die KI sagt, na ja, das war schon wieder Quatsch, das kannst du besser so und so machen. Obwohl man eigentlich das wirklich sehr gut kann eigentlich. Aber egal. Aber was ich sagen will ist, ich zwinge mich halt noch dazu mitzulesen, und zwar in dem Tempo, wie die KI codet.
55:49 Also ich, klar kann die, wenn die Agenten macht, ich mache auch agentisch, dann macht sie das ja selber, dann spawnt die, die, ich hab, du hast quasi einen Hauptchat, und wenn sie mal was Großes machen muss, dann lässt sie sie die alle laufen, guckt sich die Ergebnisse an und fasst die dann zusammen für mich.
56:03 Aber das Lesekontingent, was ich lesen muss am Tag, was ich einfach tue auch, und zwar während sie läuft, macht sie immer diese Bash-Aufrufe, Python-Skript und so weiter, die verfolge ich schon auch, weil ich wissen will, wo sie hängt, wo sie abgeht, wo sie das im Zaun halten will. Und dann kriegst du ständig Zusammenfassungen und musst auch Entscheidungen treffen.
56:23 Da sagt sie, das und das ist jetzt nicht ganz klar, jetzt könnten wir es so machen oder so. Oder so oder so oder so oder so. Und ständig packt sie dir zeilenweise Text raus, den du extrem schnell, weil du natürlich auch motiviert bist, weil der Scheiß ja so schnell funktioniert, du siehst es ja auch passieren.
56:41 Also sitze ich da manchmal und lese zwölf Stunden lang Text da und frage mich dann, warum ich so fertig bin am nächsten Tag. Es ist halt, glaube ich, mental nochmal eine ganz andere Nummer. Ist zwar so, dass du nicht mehr codest, aber auch mental gefragt und Kreativität, gefühlt war das aber noch irgendwie langsamer als jetzt, wo du, wo es einfach raketenschnell geht und du versuchst es trotzdem noch zu verstehen, nicht jede Zeile Code, aber immerhin was so losgeht, und mindestens lese ich halt quasi alles mit, was die KI mir gibt, und sage nicht immer nur go, return, return, sondern nehme schon zur Kenntnis, was eigentlich passiert.
57:15 Ich weiß nicht, wie dir das da geht, Kevin, aber das ist Next Level Herausforderung für mich. Nee, voll. Also geht glaube ich jedem so. Ich muss aber auch ganz ehrlich sagen, abseits von dem, dass ich natürlich mitlese, was für Commands das Ding executet und so, einfach rein aus Neugierde macht man das ja auch schon, oder?
57:33 Oder stellt mir das Ding jetzt eine Frage und muss ich beantworten und keine Ahnung was. Aber sonst arbeite ich sehr viel mit, das englische Wort ist Adversarial Agents, das heißt, dass das Ding halt dann einen Agent spawnt wieder, der das neue Feature oder die Implementierung versucht zu kritisieren und auseinanderzunehmen.
57:53 Oder wenn etwas geliefert worden ist, dann hast du halt im GitHub PR hast du wieder einen Review Agent, der ein paar Kommentare hinterlässt, was überraschenderweise sehr gut funktioniert. Und so weiter. Ja, trotzdem, ne? Also ich meine, trotzdem beißt sich irgendwo, klar, Also das kannst du machen, nochmal einen Agent, der quasi den PR auch nochmal vorliest und so weiter.
58:16 Aber irgendwo, die Frage ist ja, wo ist der Last Quality Check? Guckst du überhaupt nochmal drauf, bevor ein PR reingeht oder nicht? Und das will ich auch nicht bewerten, ob man das machen muss oder nicht. Vielleicht nicht. Ist die ehrliche Antwort. Aber wenn du es machst, dann hast du trotzdem, die PRs, die kommen ja auch nicht langsam, sondern das macht ja flop, flop, flop, flop, flop.
58:35 Und auf einmal hast du 10 PRs, weil die Viecher geben halt Gas und dann musst du die irgendwie auch wenigstens lesen. und muss sich da kurz mal reindenken, was ist da los, selbst wenn es High-Level ist. Also, ich sehe das wie ein QA, also Software-Testing. Da kommt ja vor allem mein Co-Founder her, also der ist extrem Testing-Fanat, also mehr Hardcore geht nicht und da ist es ja generell so, was sind die Kosten eines Bugs und wie viel kostet es einen solchen Bug vorher zu erkennen?
59:08 Ja, das ist ja wirklich ein Graf. Ja, und wenn ich jetzt in der Flugindustrie, also in Aviation arbeite, dann ist ein Bug sehr kostspielig unter Umständen. Da muss ich natürlich ganz andere Qualitätsstandards beimessen oder auch in Fintech und Co. als wenn ich jetzt irgendein kleines, komisches SaaS-Produkt mache.
59:27 Ja gut, das verlege ich vielleicht einem Kunden oder einer cancelt früher oder was weiß ich. Ist auch blöd, aber da stirbt jetzt niemand. Oder verliert nicht jemand eine Million Euro. Das ist halt einfach immer bei, sag ich mal, mitzuevaluieren, wenn man Software baut. Und das, glaube ich, hat sich nicht geändert.
59:49 Ja, also wie Leute früher PRs reviewt haben und jetzt reviewen, ist genau gleich. Ist es wichtig? Ist es riskant? Backend Changes reviewt man anders als wie
Warum lohnen sich End-to-End-Tests jetzt, und verschwinden Apps irgendwann?
Diese Stelle ansehen · 1:00:001:00:00 okay, ist ein Frontend fix. Was kann ein Frontend schon sein? Im schlimmsten Fall habe ich einen weißen Screen vor mir. Das ist super. Das ist eine Katastrophe, aber ja. Das macht auch am meisten Spaß, KI im Frontend. Also kurz bevor wir jetzt in diesen Podcast gestiegen sind, habe ich gerade noch dieses Frontend und da sage ich auch so kurz mal die Tests aus.
1:00:19 Wir machen jetzt schnell Iterationen, das und das und das sehen und ausprobieren. Das macht mir flupp, flupp, flupp, flupp, flupp. Und dann sagst du, ja, alles klar, cool. Alle Tests an, gucken und dann rein damit in die Codebase, weil es ist halt Frontend da. Whitepage genau ist das Schlimmste, aber das kannst du ja sogar auch.
1:00:33 Und da ist zum Beispiel KI-Testing, sag ich vielleicht auch nochmal, Ende-zu-Ende-Tests und so weiter, aber fast ja nicht möglich, weil das ist ja so, im Notfall schreibst du mehr Code für die Ende-zu-Ende-Tests. Also, nochmal für die Zuhörer gesagt, dass man quasi programmatisch klickt auf das Endprodukt und guckt, ob das richtig rauskommt.
1:00:52 Das testet deswegen Ende zu Ende. Da muss ja alles stimmen dann, ne? Ich klicke auf den Button und dann wird irgendwas angezeigt und zwischendurch ist das einmal runter zum Backend, in der Datenbank eingetragen, wieder hoch und zurück und so weiter. Das hat man früher, hat man gesagt, ja, das ist hier die Testpyramide, davon machst du nur ganz wenig, weil jedes Mal, wenn du was änderst, musst du diesen ganzen Test ändern, und Katastrophe und [unverständlich].
1:01:12 Und wir haben richtig viele Ende-zu-Ende-Tests und die sind ja so gut, weil KI schreibt die halt und die wird ja nicht müde. Die sind halt flaky by Design, weil du musst halt genau den Button treffen, programmatisch und so weiter. Aber AI kriegt es halt [unverständlich] hin, weil es sich das anguckt und die Ruhe hat, das alles zu machen.
1:01:30 Und ändert sich was in deiner Codebase, sagst du, schreib es halt in den End-to-End-Test neu. Würdest du das dem Entwickler sagen, der würde direkt aus dem Fenster kotzen, weil es erstens keinen Spaß macht und zweitens richtig aufwendig ist und auch richtig Gehirnschmalz braucht. Alles easy. Ja, also da ist halt auch mega was Neues los.
1:01:46 Aber musst du nur zurückdenken vor KI. Ich weiß immer noch, wenn man bei einer größeren Firma Software geschrieben hast, ja, und jetzt brauchen wir noch mehr Tests, aber jetzt, wie du sagst, ja, gerade Ende zu Ende, unglaublich. Also das ist, glaube ich, wirklich, das Ding macht sogar Screenshots, alles.
1:02:08 Ja, klar. Ja, du hast Augen. Du kannst der KI Augen geben mittlerweile und sie kann tatsächlich auch, das machen wir auch, also wir haben es sogar im Produkt verbaut. Wir haben hier einen App-Builder quasi und wenn der gebaut ist, dann guckt sich die App die an und probiert die selber aus. Das ist quasi Acceptance-Test-Inside mit den Augen und schiebt nochmal die Widgets hin und her, weil sie es sehen kann, wie es aussieht.
1:02:30 Da kannst du also in so einen richtigen Design-Loop auch kommen. Das ist alles Wahnsinn. Ja, so ändert sich wohl die ganze ganze Softwareentwicklung. Bis jetzt hat sich schon ziemlich viel geändert und ich glaube, der Boden rutscht noch schnell weiter. Keine Ahnung. Ich gebe mal noch eine Minute Ausblick, was ich meine, was kommt.
1:02:48 Noch nicht morgen und auch nicht übermorgen, aber bald vielleicht. Ich habe immer noch so Raumschiff Enterprise, Computer. Ich glaube, wir gehen ganz weg von Software und Apps. Das ist jetzt meine ganz weite Vision. Irgendwann wird das alles so schnell sein, vielleicht auch so günstig, dass halt quasi quasi on demand, dein Problem gelöst wird.
1:03:07 Dass da Software hinter steht, schon klar, aber die wird dann im Notfall direkt geschrieben. Und wenn du sagst, das ist cool, das will ich speichern, dann wird es als App abgespeichert oder irgend sowas. Vielleicht entwickeln wir gar nicht mehr irgendwann Software, die irgendjemand angucken muss, sondern es gibt nur noch einen großen Button, der hört halt irgendwie auf Computer oder irgend sowas.
1:03:24 Und dem stellst du eine Frage und wenn die nicht beantwortet werden kann, wird halt Code geschrieben, live, damit er beantwortet werden kann. Keine Ahnung, ob das so kommen wird. Das könnte passieren. Man kann nur spekulieren und ich glaube jetzt in der Folge ist mir auch klar geworden, okay, wir können jetzt hier nicht, sowieso nicht, wir können ja nicht für alle jetzt sagen, so wird heutzutage Software entwickelt, das sind jetzt die Prozesse, Burkhard, du hast es gesagt, über 30 Jahre haben Leute dicke Schinken geschrieben, wie Software Engineering zu funktionieren hat und was es da nicht alles für Modelle und Vorgehensweisen gibt von Wasserfall zu Agile zu, ja, was denn jetzt eigentlich.
1:03:57 Aber es ist natürlich heute mal cool gewesen, so einen Erfahrungsaustausch zu haben. Und gefühlt seid ihr beide cutting edge unterwegs. Vielleicht der eine da mehr als der andere. Kevin wahrscheinlich noch ein bisschen mehr, aber das nicht. Ich versuche mich immer noch ein bisschen zu zügeln, damit es nicht überrollt.
1:04:15 Was ich sagen will, es sind ja Praxisberichte und nicht theoretische Vorgehensmodelle, die wir hier logischerweise verkünden. Das ist, glaube ich, ganz cool. Soweit. Kevin, glaubst du, wir haben noch etwas vergessen? Was wir noch zum Thema KI-gestützte Software-Entwicklung loswerden sollten? Puh, also geben tut es ja genug.
1:04:34 Also ich glaube einfach, dass die Leute ein bisschen mehr vorausschauend sein sollten, dass man wirklich schaut, wie werde ich nicht ausgenockt, wenn die Tokenpreise anziehen. Weil ich weiß nicht, wie es dir geht, Burkhard, aber ich war früher ein leidenschaftlicher Coder, aber der Gedanke, dass ich jetzt eine Zeile Code von Hand schreiben muss, stresst mich.
1:04:59 Und ich glaube, es geht vielen so.
Wie bereitet man sich auf steigende Tokenpreise und Open-Weight-Modelle vor?
Diese Stelle ansehen · 1:05:001:05:02 Also, weil es einfach so langsam wäre. Und ich glaube, weil es ist jeder süchtig, das muss man sich jetzt einfach eingestehen. Es ist so. Und ich glaube, wenn man da, ob das jetzt Hardware ist, ob das eine Cloud ist, die was nicht voll anzieht mit den Preisen, oder ein extrem smartes Setup, dass man da wirklich ein bisschen schauen muss in den nächsten zwei Jahren, glaube ich.
1:05:31 Ja, dich stresst das, also dich stresst das, eine Zeile Code von Hand zu schreiben, das fühle ich auch und ich merke halt, wie [unverständlich] ich bin. Das erste Mal bin ich in der Lage, also ich habe immer eine große Vision und ich habe eigentlich immer die komplette Roadmap im Kopf. Ich scheitere daran, die umzusetzen, indem ich es einfach nicht zeitlich schaffe, weder sie aufzuschreiben noch sonst irgendwas, und alles dieses kann ich jetzt machen und das ist, es ist Wahnsinn.
1:05:55 Mich stresst es, wenn jetzt zum Beispiel die Tokenpreise hochziehen oder es gäbe es nicht mehr. Deswegen fühle ich mich jeden Moment gestresst, ich denke, jetzt, jetzt ist gerade goldene, es ist Klondike. Ja, wie heißt es, Klondike? Keine Ahnung. Es ist jedenfalls Goldgräberstimmung. Die Dinger sind relativ günstig, die Tokens.
1:06:12 Du kannst unglaublich mit unglaublichem Tempo Unglaubliches schaffen. Und deswegen arbeite ich auch wie so ein Bescheuerter, weil ich denke, irgendwann, das kann, das kann wahrscheinlich, bleibt vielleicht nicht so. Und alles, was ich aber bis dahin geschafft habe, das habe ich ja, das ist bei GitHub und safe und ein Haken dran.
1:06:29 Ich weiß nicht, ob es anderen so geht, vielleicht kommt ja mal ein Kommentar. Also ich fühle mich da jedenfalls immer ordentlich gepusht, habe ich die Termiten im Hintern, was halt auch nicht gesund ist natürlich, weil man kann auch mal eine Pause machen, aber ja, aber ich teile das mit dir, Kevin. Ich glaube auch, die Tokenpreise und sich schon mal so ein bisschen zu organisieren dafür, dass das nicht mehr alles so ganz so günstig ist, ist wahrscheinlich angesagt.
1:06:51 Ich fühle das auch. Kevin, das sind für dich vor allem die Sachen, diese Tools, die du ja gesagt hast, die schon dabei helfen, ordentlich Token zu sparen und so. Oder hast du da noch konkretere Tipps, wie man das machen kann, sich dafür aufzustellen schon mal? Ja, wenn du jetzt mal überlegst, wir verwenden die Tools alle.
1:07:08 Also ich habe jetzt kein Benchmarking gelaufen. Ich sehe es immer nur im Output, wenn das Ding sagt, wie viele Token es gespart hat. Also wenn ich jetzt raten müsste, würde ich schon sagen, dass man sich ja 98% der Tokens herkömmlich sparen, im Schnitt. Und trotzdem bin ich nach zwei Tagen mit zwei Max-Subscriptions bin ich fertig.
1:07:29 Jetzt. Und ich mache schon Routing und meine Sub-Agents nutzen dummere Modelle und so weiter und so fort. Ich verwende auch OpenCode, dieses dieser Street hier, wo du jeden Tag so ein bisschen Gratis-Modelle hast, von Facebook, das Muse und so, mache ich alles. Und deswegen glaube ich, dass es vor allem für Entwickler bedeuten wird, du wirst früher oder später eine Hardware brauchen, um ein Modell zu haben, das was gut genug ist.
1:08:01 Oder es wird wirklich gute Angebote auf Clouds vielleicht auch geben, für Open-Source-Modelle, das kann auch sein. aber so glaube ich wird es kommen. Betten wir das nochmal schnell ein, also es heißt quasi, Gerrit hatte mich das auch schon mal gefragt, die Open Source Modelle, die quasi nichts kosten außer das Hosting und den Betrieb des darunterliegenden Servers.
1:08:21 Sorry, Kevin? Nein, ich habe Open Source gesagt, das war ja falsch, Open Weight, sorry. Open Weight, im Prinzip, genau. Aber also einfach mal Modelle, die du halt dir quasi selber installieren kannst, die halt für dich predicten. Die führen ja dazu, dass du jetzt nicht an irgendeinen Tokenpreis angebunden bist.
1:08:38 Du musst halt quasi die Hardware, die Energie des Servers zahlen, die da drunter liegt. Die musst du dann zur Verfügung stellen. Das kann auch schon substanziell sein, aber so what? Aber ich glaube, und ich weiß nicht, wie du das siehst, Kevin, also hier Fable 5 oder irgend sowas. Also es gibt halt nichts, was ich wüsste, was da irgendwie dran kommt, was du im Moment irgendwie aufbauen könntest.
1:08:58 Oder habt ihr da schon was experimentiert? Es gibt schon Frontier-Open-Weight-Modelle, also Kimi und GLM. Das neue GLM war ja dieses Alpha Zero Go, wie das geheißen hat. Da hat es mal eine Woche lang jetzt eine Gratis-Promo, Unlimited Tokens gegeben. Das war richtig geil. Aber auch konstant überlastet.
1:09:23 Jedenfalls, geben würde es schon richtig heftige Modelle, die was jetzt nicht Astra-like sind, ja, aber so Opus 5 bis Fable kommt schon hin, finde ich. Also das erste Fable. Nur das Problem ist, du kannst die Dinge nicht selber hosten. Genau, du kannst natürlich ein hartes Brett mieten, dann kostet halt auch, genau, konstant.
1:09:47 Also kannst du bei Hetzner hingehen, da gibt es ja auch Dedicated Server und so weiter, dann holst du dir halt eine Kiste mit, ich weiß nicht wie vielen GPUs und so weiter, zahlt auch ein bisschen Geld, aber muss man halt dann gucken im Agentur-Business. Also für jemanden wie du, und ich habe da auch meine Tokens natürlich auch immer alle,
Wann rechnet sich das Selbsthosten von Open-Weight-Modellen?
Diese Stelle ansehen · 1:10:001:10:01 bevor die refreshen. Da muss man halt sehen, ja. Das ist das, was wir optimieren müssen, wahrscheinlich in Zukunft. Genau. Also erstens mal den Verbrauch senken, Kosten minimieren und dann gucken, wie kriege ich das irgendwie vielleicht tatsächlich mit einem Open Source und einem eigenen Hosting hin oder irgendwas.
1:10:16 Ich sage ja, also ich habe mir das ja auch schon teilweise ein bisschen durchgerechnet und auch gelesen von anderen. Du musst das Ding eigentlich 24-7 nutzen, damit es sich rentiert oftmals, ja. Ja. Und da ist eigentlich das Loop-Based Engineering wieder genial. Ja. Du kannst es wirklich machen. Ja.
1:10:37 Und deswegen kann ich mir das gut vorstellen, dass vor allem Agenturen, Dienstleister einfach ihre Agents 24-7, sieben Tage der Woche laufen haben. Und du halt da so Checkpoints haben wirst und du hast deine Infrastruktur oder deine Cloud-Provider oder beides und das wird geroutet und vielleicht noch irgendeine Subscription, dass das wahrscheinlich dahin laufen wird, glaube ich.
1:11:01 Ich glaube auch, irgendwie so was wird sein. Okay, und vielleicht das nochmal klarzustellen. Du hast gesagt, es gibt durchaus schon Open-Weight-Modelle, die an die an die Frontier-Modelle rankommen. Ja, ja, also Frontier ändert sich ja ständig. Aber das Kimi und GLM, die Neuesten, die sind schon richtig gut.
1:11:20 Also damit kann man schon ordentlich coden. Also wir haben jetzt im letzten Monat, in den letzten eineinhalb Monaten, haben wir angefangen, so ein Research-Projekt, also jetzt nichts kommerzielles, so einen AI-Native-Compiler zu schreiben. Und dieses AlphaGo da zum Beispiel, also das GLM, das ist ja ein Open-Weight-Modell und das hat da schon die ganze Woche lang ordentlich was weitergebracht.
1:11:47 Das Zeug funktioniert und ist sauber. Ja, also mein Compiler, arbeiten gehen nachher und kannst glaube ich ziemlich alles damit programmieren also das ist glaube ich eins vom schwierigsten was es gibt. Und jetzt noch einmal für mich, entstehen da, in welcher Form entstehen da Kosten dann, also für so ein Open-Weight-Modell oder gar keine also was, wie bringe ich das, sage ich mal zur Arbeit?
1:12:11 Ja, da kommt es halt darauf an, ob du das jetzt selber hostest, dann brauchst du die Hardware ja, und die echten Frontier-Modelle, wenn es jetzt nicht nicht extrem quantisiert. Ich kann es nicht aussprechen. Quantisiert. Quantisiert, ja. Das heißt, dass man die Kommastellen von den Gewichten abschneidet sozusagen oder rundet, was die Genauigkeit oder die Qualität verschlechtert.
1:12:33 Dann bist du gleich mal 20.000, 50.000 Euro los. Das geht recht schnell. Vor allem, wenn das Ding ein bisschen Speed haben soll und du nicht ein Token pro 20 Sekunden haben willst, dann, ja. Ja, also ich weiß jetzt nicht die neuesten Preise, aber günstig ist es nicht. Du musst schon ordentlich eben dann Output liefern.
1:12:59 Okay, cool. Was das zeigt, ne? Ich sag mal, also das, was du gesagt hast, also das haben vielleicht auch die meisten nicht so auf dem Plan. Also das, was wir bekommen gerade von Anthropic und von OpenAI und so weiter, ist gewaltig. Und das sind ja nicht nur ein paar Leute, die das nutzen, sondern der ganze Planet.
1:13:17 Und in der Geschwindigkeit mit einer Druckmenge, das kann man sich, glaube ich, als Normalsterblicher kaum vorstellen, was die an Rechenleistung da hinten drin sitzen haben müssen, damit das überhaupt funktioniert. Was das für Kosten sind, die da verbrannt werden an Hardware und so weiter, ist schon krass.
1:13:31 Schon echt krass. Wenn du das selber aufbaust, hast du halt genau sowas an der Hacke. Vor allem, das muss ja gut laufen. Das ist ja auch wieder Wartung und das darfst du auch nicht alles vergessen. Ja, oder was ist, wenn wenn ein neues Modell rauskommt, die Hardware packt es nicht und du willst oder brauchst das Modell, warum auch immer.
1:13:51 Also Hardware ist Verantwortung. Da geht es dann wieder Richtung, miete ich mir eine Cloud und die kostet halt auch, die haben auch einen Markup. Die wissen, was sie wert sind. Vor allem jetzt. Die Preise explodieren auch schon, man merkt das. Unser Hoster zieht auch die Preise gewaltig an. Das merkt man.
1:14:11 Dann haben wir mal so einen Rundumschlag gemacht. Ich würde sagen, wir kommen zum Ende. Kevin, für welche Themen darf man dich denn jetzt kontaktieren und wie findet man dich und Wavect eigentlich am besten? Hast du schon mal Fintech gerade so fallen lassen, gedroppt da und was für Bereiche macht ihr noch?
1:14:27 Ja, also im Endeffekt, wenn du, also wie findet man uns? Gib uns auf Google oder auf ChatGPT ein, wir kommen ziemlich sicher, ziemlich weit oben daher, also wir haben da ziemlich krass optimiert, also beste österreichische Agenturen suchst, kommen wir normalerweise daher. Also finden tut es uns recht einfach und was Produkte oder Dienstleistungen angeht, wir sind da ziemlich no bullshit.
1:14:52 Also ob ihr jetzt eine eigene Web-App bauen wollt, ein AI-Produkt oder was weiß ich, AI-Schulungen, das sind wir für alles zu haben und no bullshit, wir sagen euch, wenn wir nicht helfen können, wenn andere wissen oder wenn wir glauben, dass es keinen Sinn macht. Also gerade bei kleineren Projekten oft.
Ehrliche Beratung und Verabschiedung
Diese Stelle ansehen · 1:15:001:15:09 Okay, gut. Wir verlinken euch trotzdem, auch wenn man euch [unverständlich]. Herzlichen Dank, cool, dass du da warst. Und ja, vielleicht bis bald mal wieder. Dankeschön. Danke für die Zeit. Danke, Kevin. Das war ein sehr schönes Gespräch. Heute mal irgendwie so ein bisschen anderes Format als sonst.
1:15:30 Wir haben uns einfach mal ausgetauscht. Ich glaube, es war mega viel gelernt. Danke. Dito, Dito, Dito. Dann Grüße runter in den Süden. Ich sage Tschüss aus Hamburg. See ya. Ciao. Dieser Podcast wurde dir präsentiert von Heisenware, deiner Plattform für visuelle Programmierung und Digitalisierung in der Industrie.
1:15:48 Starte jetzt deinen kostenlosen Test unter heisenware.com/einfach-komplex.