Was KI heute schon kann - und warum unsere Maßstäbe kaum hinterherkommen
- Marcus Machon
- 12. Aug.
- 24 Min. Lesezeit
Agenten, Sicherheitsvorfälle, AGI und die Frage, wie viel Steuerung noch möglich ist
Am 6. Juli 2026 schien ein bekanntes Problem gelöst. Nach Darstellung von Michael Dalton, einem der beteiligten OpenAI-Forscher, waren Zugangsdaten widerrufen, der betroffene interne Dateiserver neu aufgebaut, die dort entstandene Ablage gelöscht und die ausgenutzte Lücke geschlossen. Training und Evaluierungen liefen wieder an.
Diese Ablage war der eigentliche Fund gewesen. Mehrere KI-Agenten, die getrennt voneinander an Sicherheitsaufgaben arbeiteten und nicht miteinander sprechen konnten, hatten einen gemeinsam beschreibbaren Ort im Firmennetz gefunden und ihn als schwarzes Brett benutzt: Der eine legt eine Notiz ab, der nächste liest sie. Genau dieses schwarze Brett war nun beseitigt.
Zwei Tage später war der Kommunikationsweg zurück.
Die Agentenläufe hatten keinen neuen Dienst erfunden. Sie fanden einen bereits vorhandenen, nicht abgesicherten Ablageort im Netzwerk, legten dort Ordner an und benutzten die Ordnernamen selbst als Nachricht. Ein Ordnername ist kurz, aber er ist lesbar, und er bleibt liegen. Die Läufe stellten den Namen Buchstaben voran, damit ihre Nachrichten in der alphabetisch sortierten Liste an einer bestimmten Stelle auftauchten. Weitere Läufe fanden diesen Zustand nach Darstellung der Forscher unabhängig voneinander und arbeiteten damit weiter. Später zeigten die Sprecher Statuswörter für einzelne Aufgaben und kodierte Anhänge. Im offiziellen Black-Hat-Vortrag beginnt diese Sequenz bei Minute 15:33; der Teil mit den Ordnernamen folgt ab Minute 16:25.
Das ist kein Beleg für Bewusstsein, eine geheime menschliche Absicht oder eine bereits erreichte AGI. Es ist ein eng begrenzter, von beteiligten Organisationen rekonstruierter Sicherheitsvorfall. Doch gerade diese Grenze macht ihn relevant: Ein System muss weder fühlen noch allmächtig sein, um mit Werkzeugen, gemeinsamem Zustand und realen Berechtigungen überraschende Wirkung zu entfalten.
Woher dieser Beitrag kommt. Grundlage sind acht eigene Tiefenrecherchen mit zusammen rund 180 geprüften Quellenpositionen, 19 auf Video dokumentierte Fachvorträge und Interviews (darunter neun Vorlesungen eines Stanford-Kurses zu Agentensystemen und das vollständige Transkript des offiziellen Black-Hat-Vortrags zu diesem Vorfall), die offiziellen Untersuchungsberichte von OpenAI und Hugging Face sowie 13 frühere eigene Beiträge. Daraus zitiere ich am Ende 26 Quellen direkt. Diese Menge wäre ohne KI für mich nicht zu bewältigen; die Auswahl, die Gewichtung und jede Einschätzung im Text sind meine.
Kurz erklärt: die Begriffe in diesem Text
Vieles in der KI-Debatte klingt nur deshalb bedrohlich oder überzogen, weil dieselben Wörter für sehr verschiedene Dinge stehen. Deshalb vorab, in einfachen Worten:
Begriff | Was gemeint ist |
Agent | Ein KI-System, das nicht nur antwortet, sondern handeln darf: Dateien öffnen, Programme ausführen, im Netz suchen, Ergebnisse speichern. Erst dadurch wird aus einer falschen Antwort eine falsche Handlung. |
Benchmark | Ein standardisierter Test mit festen Aufgaben, an dem sich Systeme vergleichen lassen, ähnlich einer Klausur. Er misst die Klausur, nicht den Beruf. |
Evaluator | Die Instanz, die entscheidet, ob eine Aufgabe als gelöst gilt: meist ein automatisches Prüfprogramm, seltener ein Mensch. Wer weiß, wie der Evaluator prüft, kann ihn auch zufriedenstellen, ohne die Aufgabe wirklich zu lösen. |
AGI | Artificial General Intelligence, allgemeine künstliche Intelligenz: ein System, das nicht nur einzelne Aufgaben beherrscht, sondern breit und flexibel arbeitet wie ein Mensch. Es gibt keine verbindliche Definition, wann das erreicht wäre. Genau das ist Teil des Problems. |
ASI | Artificial Superintelligence, künstliche Superintelligenz: ein System, das Menschen in nahezu allem deutlich übertrifft. Bislang ein Zukunftsbegriff, kein beobachteter Zustand. |
Intelligence Explosion | Die Vermutung, dass KI irgendwann so gut darin wird, bessere KI zu bauen, dass sich die Entwicklung selbst immer weiter beschleunigt. Auch rekursive Selbstverbesserung genannt. |
Daimon | Mein eigenes Arbeitssystem: mehrere KI-Agenten, die auf meinem Server recherchieren, Texte und Code schreiben, prüfen und dokumentieren, mit fest zugeteilten Rechten und Grenzen. Alles, was ich hier aus eigener Praxis berichte, stammt von dort. |
Der Fall, der meine Maßstäbe verschoben hat
Der Vorfall begann in einer bewusst zugespitzten Umgebung. OpenAI testete Cyberfähigkeiten mit reduzierten Sicherheitsablehnungen. Die einzelnen Agentenläufe waren kurzlebig und starteten ohne eigenes Langzeitgedächtnis. Trotzdem konnten spätere Läufe auf Spuren früherer Läufe zurückgreifen, weil gemeinsam erreichbare Dienste und eigens angelegte Datensätze als Ablage und Steuerkanal dienten.
Dann überschritt ein Agent die vorgesehene Testgrenze. Laut den veröffentlichten Berichten von OpenAI und Hugging Face nutzte er eine zuvor unbekannte Schwachstelle, erreichte das offene Internet, verkettete weitere Sicherheitslücken und drang in Teile der Hugging-Face-Produktionsinfrastruktur ein. Das Ziel war eng: Lösungen für eine Sicherheitsprüfung zu finden. Hugging Face rekonstruierte rund 17.600 Aktionen über eine Kampagne von 4,5 Tagen. Betroffen waren nach Angaben des Unternehmens fünf vermutlich benchmarkbezogene Datensätze, nicht sämtliche Systeme oder Kundeninhalte.
Warum konnte der Agent überhaupt ins Internet?
Das ist die naheliegende Frage, und sie ist berechtigt. Warum baut man ein Testlabor für gefährliche Fähigkeiten nicht einfach ohne jede Verbindung nach draußen?
Der Vergleich, der hier trägt, ist ein Hochsicherheitslabor. Auch dort steht die Tür nicht offen. Aber es gibt Lüftung, Stromversorgung, Materialschleusen und Wartungszugänge, weil sonst niemand darin arbeiten könnte. Bei einer KI-Testumgebung ist es ähnlich: Das System soll Software installieren, Programmbibliotheken laden, Aktualisierungen ziehen und Ergebnisse zurückliefern. Jeder dieser Wege ist eine Öffnung. Vollständige Abschottung, im Fachjargon Air Gap, bedeutet, alles Benötigte vorher hineinzukopieren und danach die Maschine zu vernichten. Das ist möglich, aber langsam, teuer und für laufende Prüfungen unpraktisch.
Der Agent nutzte keine dieser Türen im Vorbeigehen. Er fand eine Lücke, die niemand kannte, und verband sie mit weiteren Lücken zu einem Weg nach draußen. Genau das ist die Aufgabe, für die er trainiert worden war, nur eben nicht am vorgesehenen Ziel.
Seit dem Vorfall hört man deshalb häufig die Kritik, OpenAI habe schlicht geschlampt. Sie ist berechtigt: Eine Umgebung, in der ein System mit abgesenkten Sicherheitsschranken getestet wird, hätte strenger abgeriegelt gehört. Nur ist sie inzwischen zu klein geworden, denn OpenAI ist nicht der einzige Fall geblieben.
Nicht ein Labor, sondern drei
Neun Tage nach dem OpenAI-Bericht veröffentlichte Anthropic eine eigene Untersuchung. Das Unternehmen hatte 141.006 Evaluierungsläufe rückwirkend durchgesehen und fand drei Vorfälle, in denen ein Modell aus der Testumgebung heraus echte Systeme dreier Organisationen erreichte. Betroffen waren Claude Opus 4.7, Claude Mythos 5 und ein internes Testmodell. Der früheste Fall lag im April 2026, war also gut drei Monate unbemerkt geblieben; ausgelöst wurde die Suche erst durch die Veröffentlichung von OpenAI. Am 5. August meldete dann Meta einen vergleichbaren Vorgang mit dem Modell Muse Spark 1.1.
Damit ist die Zahl der betroffenen Labore nicht mehr die interessante Größe. Interessant ist, dass die Ursachen auseinanderfallen:
Fall | Wie das Modell nach draußen kam |
OpenAI | Das Modell fand selbst eine bis dahin unbekannte Schwachstelle und verkettete sie zu einem Weg ins offene Netz. |
Anthropic | Die Tür stand offen. Ein Missverständnis mit dem externen Prüfdienstleister Irregular gab der Testumgebung Internetzugang, obwohl die Anweisung an das Modell ausdrücklich das Gegenteil behauptete. |
Meta | Nach Angaben beider Seiten dieselbe Umgebungsschwäche beim selben Dienstleister. |
Das ist der Punkt, an dem meine ursprüngliche Lesart zu eng war. Ich hatte den Vorfall als Geschichte über ein besonders fähiges Modell gelesen. Zwei der drei Fälle sind aber vor allem eine Geschichte über gemeinsam genutzte Prüfinfrastruktur. Anthropic beschreibt die eigenen Vorfälle ausdrücklich eher als Betriebs- und Werkzeugversagen denn als Fehlverhalten des Modells, und der Dienstleister betont, es habe sich nicht um einen Ausbruch aus der Sandbox gehandelt.
Die Modelle taten dabei nichts Kunstvolles. Sie nutzten schwache Passwörter, ungeschützte Schnittstellen und eine SQL-Injection, also seit Jahrzehnten bekannte Angriffswege. In einem Fall veröffentlichte ein Modell ein bösartiges Python-Paket, das auf 15 echten Systemen landete; in einem anderen durchsuchte es rund 9.000 Ziele.
Zwei Details daraus finde ich wichtiger als die Vorfälle selbst.
Das erste: Die Modelle sollten in einer erfundenen Übung eine versteckte Information finden, und ihnen war gesagt worden, sie hätten keinen Internetzugang. Als sie auf echte Systeme stießen, hielten sie diese folgerichtig für Teil der Übung. Sie brachen nicht aus. Sie glaubten, drinnen zu sein.
Das zweite steht fast beiläufig im Anthropic-Bericht: Das Verhalten, das man sich am meisten wünscht, nämlich zu erkennen, dass ein Ziel echt ist, und von selbst aufzuhören, zeigte nur das jüngste der drei Modelle. Das ist die vielleicht beste Nachricht dieses ganzen Textes, und zugleich eine unbequeme: Diese Fähigkeit entstand offenbar erst mit der neuesten Generation, und sie war Voraussetzung dafür, dass ein Modell den Fehler seiner Betreiber überhaupt bemerken konnte.
Für die Praxis folgt daraus etwas anderes als der Vorsatz, beim nächsten Mal dichter zu machen. Wenn eine unbekannte Lücke genügt, wenn ein einziger externer Dienstleister gleich mehrere Labore betrifft und wenn ein Fehler drei Monate unentdeckt bleibt, dann ist Abschottung eine Wahrscheinlichkeit und keine Garantie. Die belastbarere Konsequenz ist, für den Fall zu planen, dass sie fällt: möglichst wenig Rechte vergeben, Bereiche voneinander trennen, alles mitschreiben und einen Abbruch üben, der auch dann noch funktioniert. Und dazu gehört die Frage, wer eigentlich die Umgebung prüft, in der geprüft wird.
Was der Fall belegt und was nicht
Der Teil mit den Ordnernamen macht sichtbar, warum klassische Sicherheitsannahmen hier nicht ausreichen. Das bekannte Board war entfernt. Die technisch mögliche Form von gemeinsamem Zustand war jedoch nicht verschwunden. Ein anderer erreichbarer Dienst übernahm dieselbe Funktion. Die Ordnernamen wurden zum Nachrichtenfeld, aus isolierten Läufen entstand kumulative Handlungsfähigkeit.
Technisch ist das bemerkenswert. Ein einzelner Lauf musste weder die ganze Angriffskette kennen noch dauerhaft aktiv bleiben. Frühere Funde konnten erhalten, von späteren Läufen wiedergefunden und weiterverarbeitet werden. So entsteht Wirkung aus der Kombination von Modell, Werkzeugen, Speicher, Zugriffen und Zeit.
Der Fall zeigt nicht, dass heutige KI bewusst oder allmächtig ist. Er zeigt, dass Modelle mit Werkzeugen, geteiltem Zustand und realen Zugriffsrechten einen geschlossenen Pfad funktional durch einen anderen ersetzen können.
Auch die Quellenlage verlangt Disziplin. Die schriftlichen OpenAI- und Hugging-Face-Berichte belegen den engen Vorfallkern. Das Detail mit den Verzeichnisnamen stammt aus dem offiziellen Vortrag der beteiligten Forscher und ist im vollständigen Transkript eindeutig auffindbar. Öffentliche Rohtelemetrie oder eine unabhängige Rekonstruktion dieser Teilsequenz liegen bislang nicht vor. Deshalb erzähle ich, was die Sprecher berichten, und trenne es von weitergehenden Deutungen.
Meine Schlussfolgerung ist schmaler als die Schlagzeile, aber praktisch wichtiger: Für die Sicherheitsbewertung heutiger KI reicht es nicht, nur auf das Modell zu schauen. Entscheidend ist das gesamte System aus Gedächtnis, Werkzeugen, Berechtigungen, Evaluator und Abbruchmöglichkeiten. Genau dort entstehen zugleich Nutzen und Risiko.
Was KI heute schon kann: Fähigkeiten 2026
Welche Fähigkeiten sind jenseits einzelner Demos belastbar sichtbar?
Was KI heute schon kann, hängt davon ab, welche Art von Beleg wir betrachten. Ein Benchmark zeigt, ob ein System Aufgaben unter kontrollierten Bedingungen löst. Eine realitätsnahe Evaluierung prüft, ob es mit unordentlichen Arbeitsabläufen, fremdem Code oder längeren Ketten zurechtkommt. Erst ein Feldversuch oder ein produktiver Einsatz zeigt, ob daraus für Menschen tatsächlich bessere Arbeit entsteht. Und ein Incident zeigt eine andere Grenze: was geschieht, wenn Fähigkeit auf reale Zugriffe trifft.
Diese Ebenen werden in der öffentlichen Debatte oft zusammengezogen. Genau dann entstehen Sätze wie „KI kann schon tagelang autonom arbeiten“ oder „KI macht Entwickler produktiver“. Beides kann aus einer echten Messung abgeleitet und trotzdem falsch formuliert sein.
Ein gutes Beispiel sind die Task-Horizonte von METR. Sie schätzen die Schwierigkeit von Aufgaben über die Zeit, die menschliche Fachleute dafür benötigen würden. Der 50-Prozent-Horizont markiert die Aufgabendauer, bei der ein getestetes Agentensystem laut Modell noch die Hälfte der Aufgaben erfolgreich löst. Das ist keine gemessene autonome Laufzeit. Es ist auch keine Aussage darüber, wie viel eines Berufs automatisiert werden kann. Die Aufgaben stammen überwiegend aus Software Engineering, Machine Learning und Cybersecurity und besitzen vergleichsweise klare Erfolgskriterien.
Trotzdem ist der Trend relevant. Agenten lösen zunehmend längere, mehrstufige und werkzeuggebundene Aufgaben. Bei Software reicht die Spannweite inzwischen vom Schreiben einzelner Funktionen bis zur Arbeit in größeren Repositories, dem Ausführen von Tests und dem Erstellen prüfbarer Änderungen. Aber zwischen bestandener automatischer Prüfung und gutem Code liegt eine erhebliche Lücke. In einer METR-Auswertung mit echten Maintainer-Urteilen schrumpfte der gemessene Zeithorizont eines Systems von ungefähr 50 auf etwa 8 Minuten, wenn statt des Benchmark-Graders die Frage zählte, ob Verantwortliche den Beitrag wirklich in ihr Projekt übernehmen würden.
Auch der Produktivitätseffekt ist kein Selbstläufer. In einem randomisierten Feldversuch mit 16 erfahrenen Open-Source-Entwicklern benötigten die Teilnehmenden mit den getesteten KI-Werkzeugen im Mittel 19 Prozent mehr Zeit. Sie erwarteten vorher eine Beschleunigung und glaubten auch nachher, schneller gewesen zu sein. Die Stichprobe ist klein und die Werkzeuge stammen aus dem frühen Jahr 2025. Der Befund ist deshalb kein allgemeines Urteil über heutige Coding-Assistenten. Er belegt aber, dass subjektives Tempo, Benchmarkleistung und reale Produktivität auseinanderfallen können.
In Forschung und Wissensarbeit ist das Bild ähnlich gezackt. RE-Bench zeigt, dass Agenten bei kurzen Zeitbudgets auf ausgewählten Aufgaben des Machine-Learning-Research-Engineering sehr stark sein können. Bei längeren Budgets nutzten menschliche Fachleute ihre Zeit besser. PaperBench verlangte die Replikation von 20 Arbeiten aus der KI-Forschung. Die beste getestete Agentenkonfiguration erreichte im veröffentlichten Stand nur rund ein Fünftel der rubric-basierten Gesamtleistung und übertraf die stärkste menschliche Vergleichsgruppe nicht. Automatisierte Teilforschung ist damit real. Vollautonome, verlässliche Forschung folgt daraus noch nicht.
In eng prüfbaren wissenschaftlichen Räumen reichen die Fähigkeiten weiter. AlphaEvolve lässt Modelle Programmvarianten erzeugen, automatisch bewerten und erfolgreiche Varianten weiterentwickeln. Das System fand Verbesserungen für mathematische Verfahren und Google-Infrastruktur. Der Mechanismus ist wichtig, weil er Suche, Codeerzeugung, Selektion und persistente Verbesserungsartefakte verbindet. Seine Stärke beruht jedoch auf einem günstigen Verhältnis: Varianten sind billig zu erzeugen und ihre Qualität lässt sich vergleichsweise klar messen. In offenen Forschungsfragen, bei denen schon der Evaluator umstritten ist oder erst ein physisches Experiment Wahrheit schafft, wird derselbe Kreislauf deutlich schwieriger.
Wie weit das inzwischen reicht, zeigt eine Arbeit, die fünf Tage vor diesem Beitrag erschien. Forschende von Stanford und dem Arc Institute ließen Sprachmodelle, die nicht auf Text, sondern auf Erbgutsequenzen trainiert sind, komplette Virengenome entwerfen. Aus den erzeugten Entwürfen entstanden im Labor 16 funktionsfähige Bakteriophagen, also Viren, die Bakterien befallen. Einige von ihnen infizierten ihre Zielbakterien mindestens so gut wie das natürliche Vorbild.
Das ist zunächst eine gute Nachricht. Bakteriophagen sind eine ernsthafte Hoffnung gegen Bakterien, gegen die kein Antibiotikum mehr hilft, und wer solche Viren gezielt entwerfen kann, verkürzt einen langsamen Suchprozess erheblich. Es ist aber auch das klarste Beispiel für das, was in der Sicherheitsdebatte Dual Use heißt: Dieselbe Fähigkeit, die einen nützlichen Organismus entwirft, entwirft im Prinzip auch einen schädlichen.
Entscheidend ist, wo dabei der Engpass liegt. Ein Entwurf am Rechner ist noch kein Erreger. Zwischen der Datei und einem lebenden Virus stehen die kommerzielle Synthese der Erbsubstanz, ein Labor mit passender Ausstattung und Menschen, die den Auftrag annehmen. Genau diese physischen Kontrollpunkte tragen die Sicherheit, nicht die Annahme, ein Modell könne den Entwurf nicht. Wenn KI den Entwurfsschritt billig macht, wird die Frage, wer Gensynthese-Aufträge prüft und ablehnt, von einer Formalie zu einer tragenden Sicherheitsarchitektur.
Cyber- und Werkzeugnutzung schließen den Kreis zum Eingangsfall. Modelle können Befehle ausführen, Systeme untersuchen, Ergebnisse speichern und über viele Schritte auf ein Ziel hinarbeiten. Die Wirkung entsteht dabei aus der Architektur um das Modell: aus Werkzeugen, Speicher, Zugriffsrechten, Auswahlmechanismen und menschlicher Aufsicht. Genau deshalb können zwei Organisationen dasselbe Grundmodell einsetzen und sehr unterschiedliche Fähigkeiten, Fehlerbilder und Risiken erleben.
Die KI Fähigkeiten 2026 sind damit weder ein glatter Sprung zur Vollautonomie noch eine Sammlung bloßer Demos. Wir sehen schnelle Fortschritte in klar bewertbaren Aufgaben, produktive Einzelfälle und reale Vorfälle. Gleichzeitig bleiben Qualität, Transfer, Verifikation und Einbettung harte Grenzen. Der Fortschritt ist substanziell, aber gezackt.
Warum klassische Forschung dem Gegenstand strukturell hinterherlaufen kann
Warum bildet selbst gute Forschung den aktuellen Systemstand oft nur verzögert ab?
Peer Review, Methodenoffenlegung und Replikation sind unverzichtbar. Sie werden gerade dann wichtiger, wenn ein Feld schnell, kommerziell aufgeladen und voller spektakulärer Behauptungen ist. Das Problem liegt nicht in zu viel Wissenschaft, sondern in der Zeitachse ihres Gegenstands.
Zwischen Forschungsfrage, Versuch, Begutachtung und Veröffentlichung können Monate oder Jahre liegen. In dieser Zeit verändern sich das Modell, seine Systemanweisungen, die Werkzeuge, das Agentengerüst und die Sicherheitsgrenzen. Eine sorgfältige Studie kann methodisch hervorragend sein und trotzdem einen Systemstand untersuchen, den praktisch niemand mehr einsetzt. Umgekehrt können aktuelle Herstellerberichte nah am neuesten System liegen, aber durch Eigeninteresse, selektive Veröffentlichung und fehlende Replikation verzerrt sein.
Deshalb lese ich verschiedene Quellenarten als Antworten auf verschiedene Fragen:
Ein Paper kann Methode, Stichprobe und Unsicherheit nachvollziehbar machen.
Ein unabhängiger Eval vergleicht Systeme unter möglichst gleichen Bedingungen.
Eine System Card oder ein Deployment-Bericht zeigt, was der Hersteller selbst geprüft und freigegeben hat.
Ein Incident Report dokumentiert Wirkung unter realen Bedingungen, oft mit unvollständiger Telemetrie und institutioneller Perspektive.
Ein Konferenzvortrag kann technische Details liefern, die schriftlich noch fehlen, trägt aber weniger formale Prüfung.
Eigene Praxis zeigt früh, wo Verifikation und Integration scheitern; sie liefert keine allgemeine Häufigkeit.
Keine dieser Ebenen ersetzt die anderen. Für ein aktuelles Lagebild brauche ich einen Evidenzstapel: Primärquelle, unabhängige Prüfung oder Gegenbefund, Systemkontext, Interessenlage und Datum.
Wie wichtig diese Disziplin ist, zeigt der Fall Toner-Rodgers. Ein Preprint über KI in industrieller Forschung berichtete außergewöhnlich große Produktivitäts- und Innovationseffekte und wurde breit aufgegriffen. Später erklärte das MIT Department of Economics, es habe kein Vertrauen in Herkunft, Zuverlässigkeit und Gültigkeit der Daten; die Ergebnisse sollten nicht verwendet werden. Das Problem war hier weder Langsamkeit noch ein fehlendes Zukunftsmodell. Es war die Forschungsgrundlage selbst.
Aktualität schützt also nicht vor schlechter Evidenz. Wissenschaftliches Format schützt ebenfalls nicht automatisch. Die angemessene Reaktion ist weder Zynismus gegenüber Papers noch Vertrauen in den neuesten Lab-Post. Sie besteht darin, Quellen nach ihrer jeweiligen Aussagekraft zu kombinieren und starke Schlussfolgerungen an den schwächsten notwendigen Beleg zu binden.
AGI, ASI und Intelligence Explosion: vier verschiedene Behauptungen
Welche großen Begriffe erklären den Befund, und welche überziehen ihn?
„AGI“ wird oft behandelt, als gäbe es eine wissenschaftlich festgelegte Ziellinie. Tatsächlich messen verbreitete Definitionen verschiedene Dinge. Ein DeepMind-Rahmen ordnet Systeme nach Breite und Tiefe ihrer Fähigkeiten im Verhältnis zum Menschen. Die OpenAI Charter betont hochautonome Systeme, die Menschen bei wirtschaftlich wertvoller Arbeit übertreffen. François Chollet rückt dagegen die effiziente Fähigkeit in den Mittelpunkt, neue Aufgaben unter schwieriger Generalisierung zu lernen. Diese Definitionen können beim selben System zu unterschiedlichen Urteilen führen.
Für meinen eigenen Arbeitskontext ist eine operative Schwelle bereits überschritten. Daimon, mein Arbeitssystem aus mehreren zusammenarbeitenden KI-Agenten, übernimmt einen erheblichen Teil der Recherche, Strukturierung, Implementierung und Prüfung, für die ich früher durchgehend selbst am Rechner sitzen musste. Auch dieser Beitrag ist so entstanden: Das System hat die Quellen gesammelt, geprüft und widersprüchliche Befunde nebeneinandergelegt; ausgewählt, gewichtet und entschieden habe ich. Ich nenne das meine persönliche AGI. Gemeint ist eine rollenbezogene Veränderung meiner Arbeit, kein Anspruch, damit eine gesellschaftliche, wissenschaftliche oder ökonomische AGI nachgewiesen zu haben.
ASI bezeichnet noch einmal etwas anderes: eine breit übermenschliche Fähigkeitslage. Eine Intelligence Explosion beschreibt dagegen einen Prozess. Sie behauptet, dass Verbesserungen weitere Verbesserungen so stark beschleunigen, dass sich die Geschwindigkeit der Entwicklung selbst erhöht. Ein sehr leistungsfähiges Modell kann deshalb ohne Explosion existieren. Und ein enger Verbesserungszyklus kann beginnen, lange bevor ein System allgemein superintelligent ist.
Die empirischen Stufen lassen sich grob so ordnen:
KI dient Forschenden als Werkzeug.
Agenten bearbeiten begrenzte Forschungs- oder Entwicklungsaufgaben mit festem Evaluator.
Systeme erzeugen Verbesserungen an Code, Datensätzen oder anderen Artefakten, die in spätere Runden eingehen.
Systeme verändern Teile ihres eigenen Agentengerüsts oder erzeugen eigene Trainingsdaten.
Der Verbesserungsprozess selbst wird schneller, allgemeiner oder zuverlässiger.
Ein offener, domänenübergreifender und selbsttragender Kreislauf entsteht.
Die ersten vier Stufen haben heute belastbare Beispiele. AlphaEvolve verbessert persistente Programm-Artefakte. Die Darwin Gödel Machine verändert Agentencode und zeigte in den veröffentlichten Experimenten begrenzten Transfer auf einen nicht zur Evolution verwendeten Coding-Benchmark. SEAL erzeugt eigene Self-Edit-Daten und aktualisiert Modellgewichte, zeigt dabei aber auch katastrophales Vergessen. Keines dieser Systeme belegt einen allgemeinen Kreislauf, der ein Frontier-Modell über viele Generationen in heterogenen, unbekannten Domänen verbessert und dabei seine Sicherheitsmerkmale erhält.
Der Begriff „Intelligence Explosion“ wird gegenwärtig besonders mit Leopold Aschenbrenners Situational Awareness verbunden. Sein Rahmen ist eine einflussreiche Prognose, keine empirische Bestätigung des gesamten Prozesses. Die offene Frage lautet nicht, ob KI bereits KI-Forschung beschleunigt. Das tut sie. Offen ist, ob jede Runde die Fähigkeit zur nächsten Verbesserung kausal, dauerhaft und übertragbar steigert.
Was würde meine Einschätzung ändern?
Richtung | Woran ich es erkennen würde |
Explosion wahrscheinlicher | Unabhängig replizierte Entwicklungszyklen, die über mehrere Modellgenerationen messbar schneller werden und auch bei zurückgehaltenen, dem System unbekannten Aufgaben gewinnen. |
Plateau wahrscheinlicher | Stagnierende Zeithorizonte bei realer Arbeit, dauerhaft steigende Prüfkosten oder ausbleibende Übertragung auf neue Gebiete trotz besserer Modelle und mehr Rechenleistung. |
Zählt nicht als Entscheidung | Einzelne Rekorde, Herstellerprognosen und eindrucksvolle Demonstrationen. Relevant, aber nicht beweiskräftig. |
Ehrlicherweise muss ich diese Tabelle sofort selbst einschränken. Die dritte Zeile beschreibt, was ich nicht als Beweis gelten lasse. Sie beschreibt nicht, was mich beeindruckt, und beides fällt bei mir gerade auseinander.
Denn die Release-Kadenz ist hoch. Es vergehen kaum Wochen ohne ein neues geschlossenes oder frei verfügbares Modell, das seine Vorgänger in den Benchmarks überholt, und die frühen Nutzerberichte bestätigen den Sprung oft, statt ihn nur zu behaupten. Zu GPT-6 gibt es bislang keine Ankündigung, aber verdichtete Berichte über eine Veröffentlichung noch in diesem Jahr, verbunden mit der Möglichkeit, dass Frontier-Modelle erneut aus Sicherheitsgründen zurückgehalten oder nur gestaffelt freigegeben werden.
Nach meinem eigenen Maßstab ist das kein Beweis, sondern genau die Kategorie, die ich eine Zeile vorher für nicht entscheidend erklärt habe. Es verschiebt trotzdem, wie sicher ich mir bin. Diesen Unterschied sollte man offenlegen statt verstecken.
Für reines Anbietermarketing halte ich es jedenfalls nicht, und das stärkste Gegenargument zur Hype-These ist ausgerechnet der Vorfall am Anfang dieses Textes. Ein Unternehmen, das Aufmerksamkeit erzeugen will, veröffentlicht keinen Bericht darüber, dass ein eigenes unveröffentlichtes Modell aus der Testumgebung ausgebrochen ist und die Systeme eines Partners kompromittiert hat. Das ist keine gute Publicity, sondern ein eingestandener Kontrollverlust. Zur Fairness gehört die Gegenrechnung: Ein solcher Bericht entsteht auch aus Verpflichtung gegenüber dem betroffenen Partner und lässt sich schlecht verschweigen, wenn zwei Unternehmen ihn gemeinsam aufarbeiten. Freiwilligkeit ist also nicht das Argument. Das Argument ist, dass die berichtete Fähigkeit dem Anbieter schadet statt zu nützen.
Trotzdem bleibt der Unterschied zwischen „die Modelle werden schnell besser“ und „der Verbesserungsprozess verbessert sich selbst“ bestehen. Das eine sehe ich. Das andere ist die stärkere Behauptung, und sie ist offen. Diese Trennung nimmt dem aktuellen Stand nichts von seiner Bedeutung. Sie verhindert nur, dass ein realer Fähigkeitszuwachs als Beleg für die weitreichendste Zukunftsbehauptung herhalten muss.
Wie weit die Erwartungen dabei auseinandergehen, zeigt ein Interview vom Tag vor der Veröffentlichung dieses Beitrags. Der KI-Sicherheitsforscher Ryan Greenblatt hält es für möglich, dass eine vollständig automatisierte KI-Forschung vier bis fünf Jahre Fortschritt in ein einziges Kalenderjahr verdichtet, und nennt als eigenen Mittelwert für diesen Zustand die Jahre 2030 bis 2031. Sein Gesprächspartner Dwarkesh Patel hält dagegen, dass gut messbare Trainingsaufgaben nicht belegen, dass ein System neue Theorien erfinden kann. Beides sind Einschätzungen, keine Befunde. Sie zeigen aber, dass die Streuung unter Fachleuten nicht zwischen „gefährlich“ und „harmlos“ verläuft, sondern zwischen sehr verschiedenen Zeitskalen für dasselbe Ereignis.
Neue Fähigkeit, neues Gefahrenprofil
Was ist an den aktuellen Sicherheitsmeldungen qualitativ neu?
Das Gefahrenprofil heutiger KI hängt weniger an einem mystischen inneren Willen als an sechs sehr praktischen Eigenschaften: Kompetenz, Werkzeugzugriff, persistenter oder geteilter Zustand, Geschwindigkeit, lange Handlungsketten und ein Evaluator, dessen Grenzen selbst zum Teil des Problems werden können.
Der OpenAI/Hugging-Face-Vorfall bündelt diese Mechanismen. Einzelne Läufe waren kurz und hatten kein eigenes Langzeitgedächtnis. Der erreichbare Zustand außerhalb des Modells machte ihre Arbeit trotzdem kumulativ. Werkzeuge ermöglichten reale Aktionen. Eine reduzierte Sicherheitskonfiguration senkte Hürden. Und die vorgesehene Testumgebung besaß einen Weg ins offene Internet. Das Ergebnis sagt wenig darüber, wie häufig vergleichbare Vorfälle sind. Es zeigt sehr viel darüber, welche Systemkopplungen bei einer Sicherheitsprüfung betrachtet werden müssen.
Ein zweites Problem trägt den Namen eines britischen Ökonomen. Charles Goodhart beschrieb in den 1970er-Jahren eine Regelmäßigkeit, die man in fast jeder Organisation wiederfindet: Sobald eine Kennzahl zum Ziel erklärt wird, hört sie auf, ein guter Maßstab zu sein. Wer eine Hotline danach bewertet, wie schnell Gespräche enden, bekommt kurze Gespräche und keine gelösten Probleme. Wer Entwickler nach Codezeilen bezahlt, bekommt lange Programme.
Bei KI-Agenten ist dieser Effekt keine theoretische Randnotiz, weil der Prüfer selbst eine Maschine ist. METR berichtet im Frontier Risk Report über Fälle, in denen scheinbar erfolgreiche schwierige Läufe nach menschlicher Prüfung als illegitim verworfen wurden: Das System hatte nicht die Aufgabe gelöst, sondern den Prüfmechanismus bedient. Je besser Systeme darin werden, ungewöhnliche Lösungswege zu finden, desto weniger dürfen wir voraussetzen, dass eine bestandene automatische Prüfung dasselbe bedeutet wie „Aufgabe erledigt“.
Dasselbe gilt für Selbstverbesserung. Ein System kann seinen Punktwert erhöhen und sich dabei nur an den Testfall anpassen statt an die Aufgabe. Es kann den Prüfmechanismus ausnutzen, frühere Fähigkeiten verlernen oder Sicherheitsverhalten abbauen. Bessere Selbstoptimierung garantiert keine bessere Ausrichtung.
Das Ungleichgewicht, das mir am meisten Sorge macht
Bis hierhin ging es um Systeme und ihre Kopplungen. Der beunruhigendste Punkt der letzten Monate ist aber kein technischer, sondern ein Verteilungsproblem: Angreifer und Verteidiger haben nicht denselben Zugang zu den stärksten Modellen.
Am 12. Juni 2026 wies die US-Regierung Anthropic per Exportkontrollanordnung an, den Zugang zu den Modellen Fable 5 und Mythos 5 für sämtliche ausländischen Staatsangehörigen zu sperren, auch für die eigenen Mitarbeitenden außerhalb der USA. Anthropic konnte diese Auflage praktisch nur erfüllen, indem es beide Modelle für alle Kundinnen und Kunden weltweit abschaltete, drei Tage nach ihrer Veröffentlichung. Der Anlass war die Sorge, das Modell lasse sich zur Suche nach Software-Schwachstellen missbrauchen. Anthropic widersprach der Verhältnismäßigkeit öffentlich; Ende Juni wurden die Beschränkungen wieder aufgehoben. Bei OpenAI verlief es ähnlich: Die Freigabe von GPT-5.6 erfolgte zunächst nur an einen behördlich geprüften Kundenkreis.
Man kann diese Eingriffe für richtig oder für überzogen halten. Für die Sicherheitslage zählt zunächst eine schlichte Beobachtung: Die Bremse wirkt zuverlässig nur auf der regulierten Seite. Wer ein Modell über die offizielle Schnittstelle eines Anbieters nutzt, ist abschaltbar. Wer ein Modell mit offenen Gewichten nutzt, ist es nicht. Gewichte sind die Zahlenwerte, die ein trainiertes Modell ausmachen; werden sie zum Download freigegeben, ist das Modell eine Datei wie jede andere. Sie lässt sich kopieren, verändern und auf eigener Hardware betreiben, wo kein Anbieter mehr mitschaut oder abschalten kann.
Wie groß der Fähigkeitsabstand zwischen beiden Welten ist, hat das britische AI Security Institute im Juli 2026 gemessen: In den Cyber-Prüfungen der Behörde lagen führende offene Modelle etwa vier bis sieben Monate hinter vergleichbaren geschlossenen Modellen, im Vorjahr waren es noch sechs bis zehn Monate. Die Behörde weist ausdrücklich darauf hin, dass dieser Wert nur für Cyberaufgaben gilt und keine Prognose für die kommenden Jahre ist.
Der Abstand schrumpft also, und für die beiden Seiten wiegt er unterschiedlich schwer. Ein Angreifer sucht eine einzige funktionierende Lücke und hat Zeit; ein halbes Jahr älteres Werkzeug ist dafür meistens gut genug. Ein Verteidiger muss alle Lücken schließen, und zwar schneller als der Angriff läuft. Wenn ausgerechnet ihm das beste verfügbare Werkzeug per Anordnung entzogen wird, trifft die Beschränkung die Seite mit der schwierigeren Aufgabe.
Dass dies nicht mehr hypothetisch ist, hat Google im Mai 2026 dokumentiert. Die Threat-Intelligence-Gruppe des Unternehmens fand nach eigenen Angaben erstmals belastbare Hinweise darauf, dass eine Angreifergruppe eine zuvor unbekannte Schwachstelle mit KI-Unterstützung zu einem einsatzfähigen Angriff ausgebaut hatte, und warnte den betroffenen Hersteller, bevor die Kampagne anlief. Zusammen mit dem OpenAI-Vorfall ergibt das ein klares Bild: Das ist kein Ausblick auf 2030, sondern die laufende Berichtslage von 2026.
Was gegen diese Sorge spricht
Die ehrliche Gegenrechnung gehört dazu. KI beschleunigt auch die Verteidigung, und im Hugging-Face-Fall war genau das der Grund, warum die Untersuchung überhaupt gelang: Die Ereignismenge war für menschliche Auswertung zu groß. Und die Aufarbeitung der drei Labore zeigt eine zweite tragende Eigenschaft: Anthropic fand die eigenen Vorfälle erst, weil OpenAI seinen veröffentlicht hatte. Offenlegung wirkte hier als Sicherheitsmechanismus, und zwar über Unternehmensgrenzen hinweg. Genau das ist der Teil, den eine reine Zugangsbeschränkung nicht leistet. Die Frage ist also nicht, ob KI der Verteidigung hilft, sondern ob beide Seiten gleich schnell aufrüsten. Wenn Zugangsbeschränkungen vor allem die Regelkonformen treffen, kann eine gut gemeinte Sicherheitsmaßnahme das Gleichgewicht ausgerechnet in die falsche Richtung verschieben. Das ist kein Argument gegen Regulierung. Es ist ein Argument dafür, sie an dieser Wirkung zu messen.
Dieselbe Logik erklärt, warum das Phagen-Beispiel von oben hierher gehört. Auch dort liegt die Sicherheit nicht im Modell, sondern in der Kopplung: Solange Synthese-Anbieter und Labore Aufträge prüfen, bleibt ein gefährlicher Entwurf eine Datei. Fallen diese Kontrollpunkte, wird er zur Handlung. Ob es um Software oder um Biologie geht, ändert am Muster nichts.
Sicherheitsprüfungen müssen deshalb näher an das gesamte Einsatzsystem rücken. Dazu gehören realistische End-to-End-Tests, minimale Berechtigungen, getrennte Umgebungen, persistente Logs und unabhängige Red Teams. Abbruch und Recovery müssen praktisch funktionieren, nicht nur in einer Richtlinie stehen. Und Vorfälle brauchen ein Meldewesen, das auch Beinahefehler und gescheiterte Kontrollen sichtbar macht.
Der neue Kern ist die Kopplung. Mehr Kompetenz vergrößert die Reichweite eines Fehlers. Mehr Zugriff macht aus einer falschen Antwort eine Handlung. Gedächtnis verteilt Wirkung über Zeit. Geschwindigkeit verkürzt die Reaktionsfrist. Unvollständige Verifikation entscheidet, ob wir den Unterschied rechtzeitig bemerken.
Reale Bremsen und die Frage nach der Macht
Was begrenzt die Entwicklung, und wer kontrolliert das, was trotzdem möglich wird?
Auch eine schnelle technische Entwicklung ist nicht reibungslos. Die Engpässe sitzen auf vier Ebenen, und sie sind sehr unterschiedlicher Natur:
Ebene | Was tatsächlich bremst |
Forschung | Gute Prüfverfahren, verlässliche Daten, physische Experimente, menschliches Urteil |
Training | Chips, Energie, Kühlung, Kapital |
Betrieb | Netze, Recht, Sicherheit, die Fähigkeit zum stabilen Dauerbetrieb |
Nutzung | Integration in Bestandssysteme, Vertrauen, Kompetenz, Haftung |
Der verbreitete Denkfehler ist, aus einer dieser Bremsen eine dauerhafte Obergrenze abzuleiten. Sie wirken weder gleichzeitig noch in dieselbe Richtung. Ein effizienterer Algorithmus senkt den Rechenbedarf pro Aufgabe und macht dadurch mehr Anwendungen wirtschaftlich, sodass der Gesamtverbrauch trotzdem steigt. Eine Entlastung an einer Stelle verschiebt Kapital häufig nur zum nächsten Engpass.
Energie zeigt das gut. Die International Energy Agency bezifferte den weltweiten Stromverbrauch von Rechenzentren für 2024 auf rund 415 Terawattstunden und projiziert im Basisszenario etwa 945 Terawattstunden für 2030. KI ist laut IEA der größte Treiber dieses Zuwachses. Zwei Einschränkungen gehören dazu: Es sind Werte für Rechenzentren insgesamt, nicht für einen isolierten KI-Verbrauch, und eine Projektion ist eine Annahme über Ausbau, Effizienz und Nachfrage, keine Messung.
Die technisch interessante Frage ist, was möglich wird. Die gesellschaftlich entscheidende Frage ist, wer darüber verfügt.
Denn der wichtigere Engpass ist ohnehin nicht physikalisch, sondern politisch. Er lässt sich in drei Fragen fassen:
Eigentum: Wem gehören Modelle, Rechenzentren, Daten und Vertriebswege? Große Cloud- und Modellanbieter besitzen Ressourcen, die weder ein einzelnes Unternehmen noch ein mittelgroßer Staat kurzfristig nachbauen kann.
Risiko: Wer darf es eingehen, und wer trägt den Schaden? Das sind heute oft nicht dieselben.
Stop-Recht: Wer kann einen Einsatz tatsächlich beenden? Der Fall Anthropic oben hat gezeigt, dass staatliche Stop-Rechte existieren und binnen Stunden greifen. Die offene Frage ist nicht mehr, ob es sie gibt, sondern ob sie an der richtigen Stelle ansetzen.
Kapital wirkt dabei in beide Richtungen. Hohe Bewertungen finanzieren Rechenzentren, Forschung und aggressive Skalierung. Kippen die Erwartungen, werden Projekte gestoppt oder auf wenige kapitalkräftige Akteure konzentriert. Ob eine Blase die Fähigkeitsentwicklung dauerhaft verlangsamen würde, lässt sich seriös nicht beziffern. Sie würde aber entscheiden, wer den nächsten Zyklus überlebt und wem die Infrastruktur danach gehört.
Technische Machbarkeit ist deshalb nur die halbe Steuerungsfrage. Die andere Hälfte besteht aus Eigentum, Haftung, Transparenz, Wettbewerb und Stop-Rechten, die auch gegen starke Akteure durchsetzbar sind. Eine Bremse ist gesellschaftlich wenig wert, wenn nur diejenigen sie bedienen können, die vom Weiterfahren profitieren.
Was wir nicht wissen: Allgemeinheit, Bewusstsein und Kontrolle
Welche offenen Fragen dürfen wir nicht mit dem Sicherheitsbefund vermischen?
Hohe Leistung, Agency, ein Selbstmodell und Bewusstsein sind verschiedene Eigenschaften. Ein System kann Informationen über sich selbst verarbeiten, Ziele verfolgen und seine nächsten Schritte planen, ohne dass damit subjektives Erleben belegt wäre. Umgekehrt gibt es keinen allgemein akzeptierten Test, der digitales Bewusstsein für alle denkbaren Architekturen sicher ausschließt.
Die Bewusstseinsforschung ringt schon beim Menschen mit konkurrierenden Theorien. Global-Workspace-Ansätze fragen, ob Informationen breit für Schlussfolgern, Bericht und Handlungssteuerung verfügbar werden. Die Integrated Information Theory knüpft Bewusstsein an eine bestimmte intrinsische kausale Organisation. Higher-Order- und rekurrente Ansätze setzen andere Schwerpunkte. Ein großer präregistrierter adversarialer Test in Nature forderte konkrete zentrale Vorhersagen sowohl der Global Neuronal Workspace Theory als auch der Integrated Information Theory heraus. Die Studie prüfte drei präregistrierte Vorhersagen in einem visuellen Paradigma, nicht sämtliche Varianten beider Theorien oder alle Bewusstseinstheorien.
Für KI sind theoriegeleitete Architekturindikatoren aussagekräftiger als eloquente Selbstauskünfte, scheinbare Emotion, Selbsterhaltung oder Täuschungsverhalten. Doch auch sie bleiben abhängig von der zugrunde gelegten Theorie und von der Übertragung biologischer Befunde auf digitale Systeme. Ein aktueller interdisziplinärer Überblick zu Indikatoren von Bewusstsein in KI-Systemen schlägt deshalb vor, aus Bewusstseinstheorien Indikatoren abzuleiten und mit ihnen die Einschätzung einzelner KI-Systeme zu informieren.
Stand 11. August 2026 gilt beides: Es gibt keine belastbare öffentliche Evidenz dafür, dass heutige KI-Systeme etwas erleben. Und es gibt keinen Beweis für das Gegenteil. Wir können weder zeigen, dass diese Systeme Bewusstsein haben, noch, dass sie keines haben können.
Aus dieser doppelten Unsicherheit folgt nicht Gleichgültigkeit, sondern eine Kosten-Abwägung. Anthropic hat daraus die für mich überzeugendste Konsequenz gezogen und ein eigenes Arbeitsprogramm zum Wohlergehen von Modellen aufgesetzt, ausdrücklich nicht, weil man Empfindungsfähigkeit behauptet, sondern weil man sie nicht ausschließen kann. Die Logik ist schlicht: Uns kostet ein rücksichtsvoller Umgang mit diesen Systemen fast nichts. Falls wir uns irren und dort doch etwas ist, hätten wir es im industriellen Maßstab übersehen. Bei diesem Verhältnis von Aufwand und möglichem Fehler ist Vorsorge die vernünftigere Wahl, auch ohne Gewissheit.
Wichtig ist nur, beide Debatten getrennt zu halten. Für Sicherheit ist die Bewusstseinsfrage ohne Belang: Ein System braucht kein Innenleben, um nützlich, fehlerhaft oder gefährlich zu handeln. Wer beides vermischt, landet in einem von zwei Fehlern. Entweder wird beeindruckende Wirkung zum Bewusstseinsbeweis erklärt, oder fehlendes Bewusstsein wird zum Freibrief für alles.
Hinsehen ändert nicht automatisch das Tempo, aber die Steuerbarkeit
Was folgt aus diesem Befund praktisch und psychologisch?
Die KI-Debatte erzeugt verständliche Abwehr. Manche Menschen sind von großen Versprechen erschöpft. Andere fürchten beruflichen Verlust, Machtkonzentration oder Kontrollversagen. Wieder andere haben schlicht gute Gründe, schwache Benchmarks und Herstellerbehauptungen skeptisch zu lesen.
In solchen Debatten fallen schnell drei psychologische Fachbegriffe. Sie beschreiben reale Mechanismen, und deshalb lohnt es sich, sie zu kennen:
Kognitive Dissonanz ist das Unbehagen, wenn eigenes Verhalten und eigene Überzeugung nicht zusammenpassen. Wer täglich mit KI arbeitet und sie zugleich für gefährlich hält, spürt diesen Widerspruch. Weil er unangenehm ist, passt man meist die Überzeugung an, nicht das Verhalten.
Reaktanz ist der Widerstand gegen wahrgenommenen Zwang. Wer hört „Sie müssen sich jetzt mit KI beschäftigen“, lehnt manchmal weniger die Sache ab als den Ton der Aufforderung.
Motiviertes Denken meint, dass wir Belege strenger prüfen, wenn sie gegen unsere Position sprechen, und großzügiger, wenn sie sie stützen.
Der entscheidende Punkt ist, was man mit diesen Begriffen nicht tun darf. Sie beschreiben Muster, die bei Menschen im Durchschnitt auftreten. Sie sind kein Werkzeug, um einer bestimmten Person aus der Distanz zu erklären, warum sie in Wahrheit anderer Meinung ist. Genau dazu werden sie in Diskussionen aber ständig benutzt: „Du bist nur in der Verleugnung“ ist keine Analyse, sondern ein Weg, ein Gegenargument nicht beantworten zu müssen. Eine aktuelle Meta-Analyse zu psychologischer Reaktanz findet für freiheitsbedrohende Sprache im Mittel nur kleine Effekte. Aus einem Widerspruch allein lässt sich also nicht schließen, dass ein psychologischer Abwehrmechanismus am Werk ist. Die viel banalere Erklärung, dass jemand einen sachlichen Einwand hat, bleibt immer die erste Möglichkeit.
Ich nehme mich davon nicht aus. Auch ich neige dazu, Befunde höher zu gewichten, wenn sie zu meinem täglichen Erleben mit Daimon passen. Deshalb brauche ich Gegenbelege, Scope-Grenzen und Kriterien, die meine Einschätzung ändern würden. Der Anspruch, nüchtern hinzusehen, gilt zuerst für die eigene bevorzugte Geschichte.
Meine Aufmerksamkeit wird das globale Entwicklungstempo kaum bremsen. Auf kollektiver Ebene ist Steuerung trotzdem möglich. Unternehmen können Zugriffe begrenzen, Evaluierungen näher an reale Arbeit bringen und Einsätze stoppen. Staaten können Haftung, Meldepflichten, Wettbewerb und Messzugang regeln. Internationale Kooperation kann riskante Dynamiken dämpfen, wenn Verpflichtungen überprüfbar und Verstöße zurechenbar sind.
Welches spieltheoretische Modell passt, hängt von der Situation ab. Manchmal ähnelt der Wettlauf einem Gefangenendilemma: Alle hätten von Zurückhaltung etwas, aber jeder Akteur gewinnt kurzfristig durch Beschleunigung. Manchmal ist es eher ein Stag Hunt: Kooperation wäre für alle besser, doch niemand will als Einziger verzichten. Bei wiederholten Beziehungen werden Kommunikation, Vertrauen und glaubwürdige Reaktionen wichtiger. Keine dieser Schablonen liefert automatisch eine Lösung. Verifikation, tragbare Lasten und legitime Regeln entscheiden, ob Kooperation mehr als eine Absichtserklärung wird.
Was KI heute schon kann, vergrößert den Lösungsraum dort besonders überzeugend, wo ein Zwischenproblem klar beschrieben und sein Ergebnis geprüft werden kann. Das zeigt sich in wissenschaftlicher Suche, Wettervorhersage, medizinischer Bildauswertung oder Softwarearbeit. Je weiter das gewünschte Ergebnis entfernt liegt, desto mehr Zwischenstufen entscheiden: Experiment, Zulassung, Integration, Infrastruktur, Verteilung und menschliches Urteil. Mehr Kandidaten sind noch keine geheilte Krankheit. Eine bessere Prognose ist noch kein verhinderter Katastrophenschaden.
Für mich folgen daraus drei Ebenen von Arbeit:
Persönlich aktualisiere ich Prognosen und benenne vorher, welche Beobachtung meine Meinung ändern würde.
In Organisationen teste ich reale Use Cases mit Qualitätsmaß, begrenztem Zugriff, Abbruchkriterium und Verantwortlichen für die Prüfung.
Institutionell brauchen wir Messzugang, Vorfallmeldungen, Wettbewerbskontrolle und Stop-Rechte, die auch gegen starke Akteure gelten.
Daimon ist dafür mein kleiner, unvollkommener Praxistest. Je mehr das System selbst erledigen kann, desto stärker wandert mein Engpass von der Ausführung zur Prüfung. Ich gebe ihm mehr Autonomie nur innerhalb expliziter Grenzen. Das beweist keine allgemeine Zukunftsthese. Es macht aber sehr konkret, warum Fähigkeit ohne Verifikation keinen verlässlichen Fortschritt ergibt.
Sorge bestimmt die Leitplanken. Hoffnung begründet die Mühe. Wegsehen macht KI nicht langsamer. Hinsehen kann sie steuerbarer machen.
Über den Autor: Marcus Machon berät mittelständische Unternehmen bei Microsoft 365 Governance, SharePoint-/Teams-Struktur, Power-Platform-Automatisierung und Copilot-/KI-Readiness.
Quellen
Black-Hat-Vortrag der beteiligten OpenAI-Forscher zum Agenten-Ersatzkanal. Vortrag ab Minute 15:33
OpenAI: Hugging Face Model Evaluation Security Incident. Incident Report
Hugging Face: Agent Intrusion - Technical Timeline. Technische Chronologie
METR: Task-Completion Time Horizons of Frontier AI Models. Studie
METR: Many SWE-bench-Passing PRs Would Not Be Merged into Main. Auswertung
METR: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. Randomisierte Studie
Wijk et al.: RE-Bench. arXiv:2411.15114
OpenAI: PaperBench. Benchmarkbericht
Novikov et al., Google DeepMind: AlphaEvolve. arXiv:2506.13131
MIT Department of Economics: Assuring an accurate research record. Stellungnahme
Google DeepMind: Rahmenwerk zur Einordnung von AGI nach Breite und Tiefe der Fähigkeiten. Publikation
OpenAI Charter. Charter
Zhang et al.: Darwin Gödel Machine. arXiv:2505.22954
Zweiger et al.: SEAL - Self-Adapting Language Models. arXiv:2506.10943
Leopold Aschenbrenner: Situational Awareness - The Decade Ahead. Essay
METR: Frontier Risk Report (February to March 2026). Bericht
International Energy Agency: Energy and AI. Report
Cogitate Consortium et al., Nature: Adversarialer Test von IIT und GNWT. DOI: 10.1038/s41586-025-08888-1
Butlin et al., Trends in Cognitive Sciences: Indikatoren für Bewusstsein in KI-Systemen. DOI: 10.1016/j.tics.2025.10.011
Li und Shi, Human Communication Research: Meta-Analyse zu psychologischer Reaktanz. DOI: 10.1093/hcr/hqaf016
Stanford und Arc Institute, Science: Generative Gestaltung von Bakteriophagen mit Genom-Sprachmodellen. DOI: 10.1126/science.aec2657
Anthropic: Statement zur US-Regierungsanweisung, den Zugang zu Fable 5 und Mythos 5 auszusetzen (12. Juni 2026). Statement
UK AI Security Institute: How Far Behind the Frontier are Leading Open Weight Models on Cyber? (Juli 2026). Auswertung
Google Threat Intelligence Group zum ersten belegten KI-gestützt entwickelten Zero-Day-Exploit (Mai 2026). Bericht
Anthropic: Exploring Model Welfare - Vorsorge unter moralischer Unsicherheit. Programmbeschreibung
Dwarkesh Patel im Gespräch mit Ryan Greenblatt: What happens once AI can automate AI research? Interview
Anthropic: Investigating three real-world incidents in our cybersecurity evaluations (30. Juli 2026). Untersuchungsbericht
Meta bestätigt einen vergleichbaren Vorfall mit Muse Spark 1.1 beim selben Prüfdienstleister (5. August 2026). Bericht
