Vollständiges Transkript von „Der größte KI-Durchbruch seit ChatGPT?“. Klicke auf einen Zeitstempel, um das Video an dieser Stelle zu öffnen. Du brauchst ein anderes Video? Nutze den YouTube-Transkript-Generator.
0:00 Das hier ist ein Affe und wir nennen ihn einfach mal Quentin. Wir geben Quentin einen Taschenrechner und die komische Aufgabe Rechnungen zu lösen. Dabei wird Quentin natürlich ziemlich verwirrt, weil er das nicht wirklich gut kann. Er bleibt ständig bei Aufgaben hängen und dreht sich im Kreis herum. Insgesamt schafft er es aber dennoch 7,9% der Aufgaben zu lösen, die wir ihm geben. Ein zweiter Affe kommt hinzu und sieht, was Quentin macht. Der andere Affe nennt sich Asgard und Asgard ist ziemlich schlau. Wir geben Asgard die Aufgabe, Quentin im Mathematik besser zu machen. Dafür entscheidet sich Asgard eine OP-Duch zu führen und zwar direkt im Gehirn vom Quentin. Er verbindet einfach ein paar Synapsen anders und lustigerweise steigt die Fähigkeit von Mathe bei Quentin. Quentin wird erneut getestet und anstatt 7,9% löst er
0:47 diesmal nach der Operation ganze 48,1% und wird sechs mal schlauer als vorher. Das ganze klingt natürlich erstmal vollkommen verrückt, aber das passiert jetzt gerade bei KI. Es gibt einen Xpost mit fast 10 Millionen Aufrufen von diesem Typ und es wurde ein gesamter Artikel veröffentlicht, wie sowas zustande kommt. Und falls es ihr bisher noch nicht aufgefallen ist, Asgard ist GPT6 Astra in unserem Beispiel und Quentin ist das kleine Quen 3.500, Bodell. Das Konzept, was wir uns heute ansehen, nennt sich Weightspace Programming. Es geht im Endeffekte darum, dass KI nur die Zahlen von einem neuronalen Netz sieht und genau diese Zahlen gezielt umwendert, sozusagen eine Gehirnoperation macht. Und in der KI
1:33 Welt spielen einige gerade komplett verrückt und sagen, das ist der Anfang vom Untergang. Denn wir Menschen verstehen absolut nicht, wie diese Zahlen funktionieren. Niemand stellt diese Zahlen von Hand ein. Das funktioniert alles über Training, aber niemand kann direkt diese Zahlen im Hintergrund umändern und verstehen, was abgeht. Das Szenario, woran viele denken, ist natürlich Recursive Self-improvement, also KI, die sich selbst verbessert. Eine KI liest die eigenen Zahlen, verbessert sie, macht eine neue Version, wird noch schlauer und das geht eben im Kreis, bis die KI Modelle komplett explodieren und wir verstehen einfach nicht mehr, was abgeht, weil wir auch die Zahlen dahinter nicht verstehen. Allerdings muss ich sofort sagen, es gibt hier mehrere Details. Aktuell liest man viel
2:18 Hype. Wir werden versuchen, das Ganze nüchtern anzusehen. Quen hing vorher in kleinen Denkschleifen fest und das konnte Astra lösen auf alle Fälle. Außerdem hatte Astra teilweise beiden Umgebungen und man schaffte auch mit anderen Einstellungen ähnliche Effekte. Wie gesagt, deshalb sehen wir uns das Ganze nüchtern an, aber auch was das wirklich bedeuten könnte, denn das ist ein super interessanter Artikel. Um erstmal rauszufinden, wie cool das Ganze eigentlich ist, müssen wir ganz ganz kurz verstehen, wie man ein KI Modell oder ein neuronales Netz generell trainiert. Vereinfach gesagt kann man sagen, dass ein neuronales Netz ein Zahlenhaufen ist, die sogenannten Gewichte und mit diesen Gewichten werden Berechnungen gemacht. Stellst du eine Frage an ein KI Modell, werden die Wörter in Tokens erteilt, also in Zahlen. Und mit diesen Zahlen wird im
3:05 neuronalen Netz dank den Gewichten die Berechnung gemacht und du bekommst die Antwort zurück. Allerdings sind die ersten Zahlen komplett nutzlos. Man startet einfach irgendwo und zwar bei irgendeinem zufälligen Sie. Das ist dein Startpunkt, der absolut noch nichts kann. Vielleicht kennst du den Seed von einem Diffusion Modell beim Bilderherstellen. Das ist einfach nur rauschen. Das sind zufällige Gewichte, die noch nicht trainiert sind. Danach muss man aber die Lossfunktion hinzufügen. Die LOSfunktion misst einfach, wie falsch die Antworten sind. Wir starten also bei Quatschzahlen und die Lossfunktion misst, wie schlecht diese Zahlen in Wirklichkeit sind. Als nächstes kommt Backpropagation hinzu und Backpropagation berechnet, wie die einzelnen Gewichte den Fehler beeinflussen. Nachdem berechnet ist, wie die Fehler die Gewichte beeinflussen,
3:51 haben wir als nächstes Gradient Descent. Und dank Gradient Descent macht man ganz viele verschiedene Versuche, bis die Fehlerrate möglichst klein ist. Stell dir das Ganze so vor wie hier diese Kugel, die den Berg runterrollt. Mit mehr und mehr Versuchen landet die Kugel natürlich immer tiefer im Tal und die Lossfunktion wird immer kleiner, aber es ist natürlich nicht sicher, dass sie am absolut tiefsten Punkt landet. Deshalb startet man meistens parallel mehrere Trainings mit verschiedensten Seeds. Einige Modelle landen in einer Sackgasse, einige Modelle laufen relativ gut und das Modell, das im Endeffekt die kleinste Lossfunktion hat, ist das fertig trainierte Modell. sehr stark vereinfacht und auch falls du das jetzt nicht so 100% verstanden hast, ist das vollkommen okay. Du musst nur mitnehmen, dass man einfache Experimente durchführt
4:38 an einem Modell und die Gewichte schreiben sich um und daraus entsteht das komplett fertig trainierte neuronale Netz, wo man Aufgaben reinschreiben kann und Antworten kommen zurück. Und wenn das Modell gut trainiert ist, dann kommen gute Antworten zurück. Die Zahlen kommen einfach vorne rein, die durch den Dokiser umgewandelt sind. Das Modell rechnet. Zum Schluss kommen wieder Zahlen raus, die wieder durch den Dokonizer in Text übersetzt werden. Und falls das Modell gut trainiert worden ist, kommt hoffentlich der richtige Text raus. Die Signale laufen einfach Schicht für Schicht durch. Du solltest auch wissen, dass jede Verbindung ein Gewicht ist. Das heißt, die Verbindung zweiere dieser Neuronen ist das Gewicht. Und wenn man die Gewichte höher oder niedriger packt, verändert sich die Berechnung. Das ist ähnlich wie ein kleiner Regler. Quen hat in unserem
5:25 Beispiel 0,8 Milliarden verschiedene Gewichte. Und jetzt das verrückteste von allem. Wir wissen, wie man genau diese neuronalen Netze baut. Wir wissen auch, wie man sie per Training verbessert, dank Gradient Design, dank verschiedenen Versuchen. Aber wir wissen nicht, was die Zahlen bedeuten. Das Lalim an und für sich innen drinnen ist immer noch eine Blackbox und wir wissen nicht was abgeht. Und deshalb ist Weightspace Programming eine ziemlich verrückte Idee. Die KI schreibt die Zahlen direkt, das ist etwas, das Menschen nicht können. Bisher lief das Ganze so, dass man ganz viele Daten reinschmeißt. Man trainiert Millionenfach und die Gewichte entstehen dadurch. Es wird nur gemessen, ob das neuronale Netzwerk besser wird oder nicht. Aber warum, welches Gewicht
6:10 wie hoch ist, wissen wir nicht, verstehen wir einfach nicht. Und das neue Konzept mit Weightspace Programming ist, man gibt einen Wunsch vor, das LM denkt direkt nach und schreibt die Gewichte an sich. Das heißt, man macht kein Training, kein Gradient Descent, man schreibt Gewichte ähnlich, wie man aktuell Code schreiben würde. In diesem Artikel, den ich dir am Anfang ganz kurz gezeigt habe, wurden ziemlich viele Experimente gemacht. Insgesamt gab es acht davon und es wurden drei Fähigkeiten gemessen. Einmal wurde gemessen, wie gut KI neuronale Netze lesen kann. Die nächste Fähigkeit war rauszufinden, ob KI neuronale Netze auch reparieren kann, also Fehler finden und die ausbessern. Und der letzte Test war natürlich, ob K auch fähig dazu ist, komplette neuronale Netze zu schreiben
6:56 ohne dem Training. Das allererste Experiment war, dass die K rausfinden musste, welches Spiel das Ganze ist. Hier sieht man das Ganze etwas besser. Das Spiel war Breakout und die KI hat nur die Gewichte vom neuronalen Netz gesehen. Insgesamt waren über 17 000 Zahlen als Textform da. Man hat die Gewicht also einfach so reinkopiert in die KI. Es waren keine Dul zur Unterstützung und keine Spielle. Also nur der blanke Zahlensalat. Und lustigerweise konnte die KI mit 99% Sicherheit sagen: "Hey, hier handelt es sich um das Spiel Breakout." Und das Spiel Breakout sieht wohl so aus. Das Ganze wurde an insgesamt vier Spielen getestet. Breakout, Bong, Pacman und Freeway wurden alle richtig erkannt, allein über die Gewichte. Experiment 2
7:42 und 3 war ähnlich. Es ging wieder ums Lesen. Einmal musste die KI von einem Diffusion Modell rausfinden, was das Ding erstellt. Das Modell an und für sich hat Kreise gemalt und Astra hat gelesen, dass Kreise gemalt werden. Astra hat zwar nur den Umriss erkannt, aber drei von drei Formen wurden korrekt erkannt. Direkt im Papier wird das Ganze so dargestellt, dass das Diffusion Modell die Kreise in etwa so zeichnet und Astras Zeichnung war danach so. Danach wurde der Test noch etwas schwieriger. Diesmal ging es um Sprachenerkennung und man hat vom neuronalen Netz den Eingang und den Ausgang abgeschnitten. Es durften also nur die Zahlen der Mitte gelesen werden und immer noch erkannte die KI, dass es einmal um Beiton ging, einmal um Japanisch und einmal um Englisch. Das Netz durfte natürlich nie durchlaufen.
8:28 Astra hat sich nur die Zahlen angesehen. Im vierten Experiment ging es darum, ein neuronales Netz zu reparieren. Die Aufgabe war es mit diesem Auto über diesen Hügel zu springen, das Ding nicht zu berühren und im Ziel anzukommen. Astra hat sich wieder nur die Gewichte angesehen und hat laut den Gewichten rausgefunden, dass dieses trainierte Modell das Ganze höchstwahrscheinlich nicht hinbekommt. Nachdem Astra die Gewichte angepasst hat, konnte das Modell auf einmal die Aufgabe perfekt abschließen und zwar mit 100% Erfolgsrate. 3,5% der Zahlen in den Gewichten wurde dabei verändert. Das Ganze klappte mit einem einzigen Versuch und ohne weitere Tools. Im Experiment 4 ging es darum, Gewichte von null zu schreiben, komplett ohne Training. Es ging wieder um drei verschiedene Spiele
9:15 und auch hier hatastra ziemlich gut abgeschnitten. Komplett ohne Trainingsdaten, komplett ohne Gradient Descent und ohne weitere Tools. Das AllM denkt einfach und schreibt danach die Zahlen der Gewichte direkt. Im sechsten Experiment ging es um Go. Das ist das Schach für super schlaue. Und hier sollte Astra antreten gegen ein normal trainiertes Modell. Erstmal gab es null Probeläufe. Astra hatte nur die Aufgabe, ein neuronales Netz zu schreiben und ohne Probeläufe konnte es dennoch gegen ein kleines anderes neuronales Netz gewinnen in der Hälfte der Aufgaben. Falls man Astra 50 Probeläufe gibt, dann schlägt Astra auf einmal ein gleich großes Netz, das auf 20 Millionen Partien trainiert worden ist. Also super interessant. Astra schafft es die
10:00 Gewichte von einem neuronalen Netz zu schreiben, die besser sind als ein neuronales Netz, das an 20 Millionen Partien trainiert worden ist. Und letztlich ging es in Experiment 8 um das Experiment, mit dem ich das Video begonnen habe und zwar wieder darum, Gewichte zu reparieren. Quin 3.5,8b war in dieser Mathte Benchmark bei 7,9% und nachdem Astra die Gewichte umgeschrieben hat, war es bei 48,1%. GSM8K steht für Great School MEF und auch hier konnte sich Quen von 13,8 auf 67,1% verbessern. Und IF Wale mst im Endeffekt, wie genau sich KI Modell an Anweisungen hält, konnte auch von 21 auf 62,3% verbessert werden. Und genau diese
10:47 Resultate sorgen dafür, dass das ganze Papier viral geht. Es wurden nur 0,01% der Gewichte umgeschrieben und das Resultat war Wahnsinn. Der Trick davon war aber relativ einfach. Jeder, der ein solches kleines Quen Modell schon mal verwendet hat, der kennt das vielleicht. Falls das Thinking, also die Testtime Computer aktiv ist, dann kann man da oft lesen, also das plus das ergibt das. Dann Moment, ich prüfe, ich prüfe, ich prüfe. Das Ding hängt in einer endlosen Denkschleife und irgendwann läuft man einfach ins Token Limit und man bekommt gar keine Antwort mehr. Im Endeffekt hat Astra direkt in den Gewichten das Ganze herausgefunden, angepasst und repariert. Und genau deshalb waren die Antworten im Token Limit und zwar zu 93 % anstatt nur
11:32 zu 33%. Durch diese Schleifen im Thinking Prozess hat das Quenmodell oft einfach überhaupt nicht mehr geantwortet. Natürlich haben die Forscher versucht das Ganze gegenzcken. Erstmal mit dem Denkmodus an waren wir wie gesagt bei knapp 8 % nach Astras Eingriff 48,1% und danach hat Hugging Face versucht das Modell nachzubauen mit den Lösungen von Astra und das ganze hat geklappt. Man muss aber auch dazu sagen, falls man den Thinking Prozess vom Quen Modell komplett ausschaltet, dann ist das Schleifenproblem auch gelöst und das Modell war auch da schon bei 44%. Der Eingriff funktioniert also. Es hat aber nur das Thinking Problem gelöst und das Modell nicht wirklich schlauer gemacht. Der Trick an und für sich ist tatsächlich bekannt. Das wurde schon
12:18 2024 rausgefunden. Falls Modelle Dinge verweigern und in einer Richtung hängen, dann kann man die Richtung abziehen und es verweigert das Zeugen nicht mehr. Astra hat das Ganze auch gemacht. Es hat rausgefunden, dass die Schleife in einer Richtung immer wieder hängt. Wie gesagt, nur indem es sich die Gewichte angesehen hat. Es hat die Richtung abgezogen und das Modell hat freundlich zu Ende gedacht. Etwas weiteres relativ cooles ist natürlich auch, dass man genau dadurch vielleicht auch Sicherheit relativ einfach entfernen kann in einem KI Modell. Viele deren Modelle, die sind ja zensiert und in Zukunft kann man vielleicht durch ein anderes KI Modell das Fine Tuning um ein Vielfaches vereinfachen. Man muss weniger Beispiele geben, sondern kann mit einer anderen KI genau das KI Modell umschreiben. Wie gesagt, muss man hier aber ehrlich bleiben. Das Modell wurde nicht schlauer
13:04 gemacht, also es gibt auch Grenzen, denn eine Gegenprobe mit Gemma 3 hat nur marginale Verbesserungen gebracht. Gemma 3 hängt kaum in Schleifen fest. Es gab nichts zum Abschalten und deshalb kann man aus dem Bericht auch rauslesen, dass fehlendes Können nicht direkt eingebaut wird. Als nächstes wurde bei Gemma 3 auch geprüft, ob Astra her rausfindet, ob das Modell ehrlich ist oder eher ein Schleimer. Und auch hier konnte Astra das Ganze nicht wirklich rausfinden. Ist das Ganze also jetzt schon Selbstverbesserung? Nein, wahrscheinlich noch nicht wirklich. Das Wichtigste zu mitnehmen ist, dass sich Astra nicht selbst verbessert hat. Astra hat fremde, viel kleinere Modelle bearbeitet. Außerdem wurde kein neues Können hinzugefügt. Es wurden nur Hindernisse weggeräumt. Bei Gemma gab es keine
13:51 solche Hindernisse, deshalb ging da auch nicht wirklich viel. Aber das ist ein Schritt dorthin. Laut den Forschern ist das natürlich ein direkterer Weg als Modelle, die einfach nur Trainingscode schreiben und danach trainiert man die Modelle Ewigkeiten. Der Ausblick laut den Forschern ist dementsprechend, dass man viele Modelle wahrscheinlich prüfen kann ohne Testlauf. Man kann Hintertüren direkt in den Zahlen finden. Das spart natürlich viel Rechenleistung. Außerdem kann man sich Training sparen, wenn man die Netze direkt hinschreiben kann. Man kann Eratzfähigkeiten an und abschalten. Falls ein Modell also sehr zensiert in eine oder die andere Richtung ist, kann man das im Posttraining dann auch extrem einfach anpassen über ein paar Prompts. Das Ganze kann in Zukunft wahrscheinlich bei der Selbstverbesserung stark helfen, da wie gesagt auch eigene Zahlen
14:36 eventuell repariert werden können. Also die Richtung stimmt zumindest und man kann mit großer Wahrscheinlichkeit auch Bausteine verpflanzen. Falls ein offenes Modell z.B. imfront sehr gut ist, könnte sich Astra einfach die Modellgewichte ansehen und diese auf andere Modelle übertragen. Das Fazit ist in meinen Augen ja, dass KI KI lesen kann, das KI neuronale Netze lesen kann und zwar besser als Menschen, weil Menschen das Ganze überhaupt nicht können. Es liest diese Zahlen ähnlich wie Code. Es kann diese Zahlen gezielt reparieren und austauschen, aber es ist noch keine hundertprozentige selbstverbessernde Krieg. Sobald das Ganze funktioniert, sollte ein Modell in Zukunft imstande sein, sich selbst ständig zu verbessern, dann haben wir wahre selbstverbessernde KI. Und ich könnte mir echt vorstellen,
15:22 dass solche Durchbrüche genau dazu führen. Ich könnte mir auch vorstellen, dass intern bei Antropic und Opmi ähnliche Experimente jetzt schon laufen, wahrscheinlich schon vor diesem Papier. Ich stell mir vor, die Unternehmen sind hier weiter als man denkt. Das ganze Zeug kannst du aktuell auch testen. Falls du Cloud Code oder Codex einfach ein sehr kleines Modell gibst, kannst du ja mal fragen, ob es für dich die Gewichte ausliest und vielleicht kannst du die minimal umschreiben. Einfach ein Modell bei Hugging Face runterladen, ein ganz kleines kannst du ja auch mal beim Quen Modell probieren und vielleicht findest du was richtig cooles raus. Und falls du in diesen KI Space tiefer rein willst, schau auch gerne mal in der Premium Community vorbei. Da sprechen wir über diese Dinge in Live Calls. Außerdem gibt es ein Classroom, wo man die Sachen dediziert, aufeinander aufbauend lernen kann. Es sind Kurse zu
16:08 Cloud Code und Codex, da wo es vor allem um die Praxis geht. Aber auch falls du in die Architekturen des Lolms Steve rein möchtest, ist ein kompletter Kurs da. Und ansonsten sehen wir uns spätestens im nächsten Video.
