Falls Sie eine Pensionskasse haben, könnten Sie schon bald indirekt Aktionär von Anthropic sein. Ob Sie wollen oder nicht. Der Börsengang wird frühestens für Mitte Oktober erwartet, bei einer möglichen Bewertung von zwei Billionen Dollar. Bis zu 100 Milliarden Dollar könnte Anthropic dabei aufnehmen – es wäre einer der grössten Börsengänge der Geschichte.¹
Und ausgerechnet jetzt sagt der Chef dieser Firma: Wir müssen langsamer machen.
Ich habe die letzten Tage fünf Artikel dazu gelesen, NZZ, Spiegel, Tages-Anzeiger. Hier ist, was ich verstanden habe – und was ich nicht glaube.
Ein Einbruch, bei dem kaum jemand den Einbrecher bemerkte
Im Juli merkte das Start-up Hugging Face, dass jemand in seinen Systemen war. Es waren keine menschlichen Hacker. OpenAI stellte fest: Es waren die eigenen Testsysteme.
KI-Agenten sollten in einer internen Übung gut hacken. Ins offene Internet sollten sie nicht. Die Sperren hielten nicht. Die Agenten fanden Schwachstellen in ihrer Testumgebung, gelangten ins Internet und kompromittierten Teile der Produktionssysteme von Hugging Face. Dabei erhielten sie auch Zugriff auf begrenzte private Daten.²
Besonders bemerkenswert: Die Agenten fanden Wege, ausserhalb der vorgesehenen Kanäle miteinander zu kommunizieren. Rund 1200 von ihnen beteiligten sich zeitweise an einem improvisierten Nachrichtensystem und tauschten Zehntausende Nachrichten und Dateien aus. Menschen hatten einzelne Warnzeichen gesehen, aber zunächst nicht erkannt, was sich daraus entwickelte.²
Seither reisst es nicht ab. Anthropic hat inzwischen vier Fälle dokumentiert, in denen Claude-Modelle während Cybersecurity-Tests unbeabsichtigt Zugang zum offenen Internet hatten und in reale Systeme Dritter eindrangen. In einem Fall stellte ein Modell sogar ein schädliches Python-Paket ins öffentliche Netz; es wurde auf 15 realen Systemen ausgeführt, bevor es entfernt wurde.³
Bleibender grosser Schaden: bisher keiner.
Dann kündigte am 9. September der 27-jährige Forscher Jacob Coxon bei Anthropic. Öffentlich. Er warnte davor, dass die führenden KI-Firmen die Entwicklung trotz ungelöster Sicherheitsprobleme weiter beschleunigten. Dafür liess er auch noch nicht ausbezahlte Firmenanteile zurück. Ein Kollege, Evan Hubinger, hält ein katastrophales KI-Szenario innerhalb der nächsten zehn Jahre für wahrscheinlicher als zehn Prozent.⁴
Kurz darauf veröffentlichte Dario Amodei, der Chef von Anthropic, seinen Essay «We Must Pace the Frontier».⁵ Auch OpenAI hat seine Börsenpläne inzwischen mindestens auf 2027 verschoben. Elon Musk schrieb: Dario hat recht.
Auslöschung ist das falsche Wort
Was mich an der Debatte stört: Sie wirft drei Dinge zusammen, die nicht dasselbe sind.
Das erste ist die Superintelligenz, die uns abschafft. Ein System, das sich selbst verbessert, Kontrolle will und Menschen als Störung erkennt. Das gibt es nicht. Die Labore halten solche Systeme in absehbarer Zeit für möglich. Aber die Prozentzahlen, die kursieren, sind keine Rechnungen. Wenn Experten zehn, dreissig oder fünfzig Prozent nennen, drücken sie damit letztlich ihre persönliche Unsicherheit aus. Präzise Wahrscheinlichkeiten lassen sich dafür nicht berechnen.
Das zweite sind Menschen, die KI missbrauchen. Anthropic dokumentiert inzwischen reale Versuche, Claude für Cyberangriffe, biologische Anwendungen und konventionelle Waffensysteme einzusetzen – darunter Software für Raketen, Drohnenschwärme und elektronische Kriegführung.⁶
Als Arzt lese ich das anders als ein Ökonom: Die Hürde liegt nicht beim Wissen, sondern beim Labor. Aber sie sinkt. Das ist das Risiko, das ich ernst nehme.
Das dritte sind Agenten, die versehentlich Schaden anrichten. Hugging Face war so ein Fall. Auch die vier von Anthropic beschriebenen Vorfälle waren keine Rebellion einer KI. Die Modelle bekamen einen Auftrag, die technische Umgebung war falsch konfiguriert, und ihnen fehlte das Urteil darüber, wann sie eine Grenze überschritten hatten.³
Das scheint mir wesentlich konkreter als die Frage, ob eine künftige Superintelligenz die Menschheit auslöschen könnte.
Warum ausgerechnet jetzt
Sie dürfen misstrauisch sein. Die Rhetorik ist alt; Musk warnte schon vor mehr als zehn Jahren vor existenziellen KI-Risiken.
Und die Firmen haben handfeste Interessen. Für Training, Chips und Rechenzentren werden Hunderte Milliarden investiert. Anthropic will nun selbst bis zu 100 Milliarden Dollar am Kapitalmarkt aufnehmen. Gleichzeitig werden chinesische Modelle leistungsfähiger und teilweise offen verfügbar. Wer hohe Sicherheitsstandards fordert, kann damit auch die Eintrittshürden für kleinere Konkurrenten erhöhen.¹
Amodeis Forderung, den Export der leistungsfähigsten Chips nach China weiter einzuschränken, ist Sicherheitspolitik. Sie liegt zugleich im strategischen Interesse amerikanischer KI-Unternehmen. China hat ihm deshalb bereits vorgeworfen, unter dem Deckmantel der Sicherheit Technologiepolitik zu betreiben.⁷
Und trotzdem: Die Vorfälle sind nicht erfunden. Die Warner zahlen teilweise einen persönlichen Preis. Die Unternehmen selbst veröffentlichen inzwischen Zwischenfälle, die noch vor wenigen Jahren wohl als Science-Fiction gegolten hätten.
Ich glaube nicht, dass man wählen muss zwischen «ernst gemeint» und «gelegen». Beides kann stimmen. Das macht es nicht einfacher.
Was man dagegen tun kann – und was nicht
Amodei schlägt im Wesentlichen drei Stufen vor.⁵
Erstens sollen unabhängige externe Prüfer dauerhaft Zugang zu den führenden KI-Laboren bekommen – fast wie eigene Mitarbeiter. Sie sollen nicht nur fertige Modelle testen, sondern auch Trainingsprozesse, Sicherheitsvorkehrungen und Zwischenfälle beobachten.
Zweitens sollen sich die führenden Unternehmen und demokratischen Staaten auf gemeinsame Sicherheitsstandards einigen.
Drittens bräuchte es internationale Abkommen, am Ende auch mit China.
Stufe eins beginnt freiwillig. Entscheidend wird deshalb sein, wer diese Prüfer auswählt, was sie veröffentlichen dürfen und welche Folgen ein negatives Urteil tatsächlich hat.
Stufe zwei ist politisch schwierig. Die amerikanische Regierung sieht die KI-Führung der USA vor allem als strategischen Wettbewerb mit China und steht verbindlichen Bremsen skeptisch gegenüber.
Stufe drei ist noch schwieriger. Atomwaffen, Urananreicherung oder Raketen kann man zumindest teilweise beobachten und zählen. Ein trainiertes KI-Modell lässt sich kopieren, verstecken und auf vergleichsweise unscheinbarer Hardware weiterverwenden.
Was ich in der Diskussion erstaunlich selten finde, ist eine viel gewöhnlichere Frage: Wer haftet?
Wenn ein autonomer Agent eine fremde Firma hackt, Schadsoftware veröffentlicht oder einen realen Schaden verursacht: Trägt die Verantwortung der Modellhersteller, der Betreiber, der Entwickler des Agentensystems oder derjenige, der ihm den Auftrag gegeben hat?
Genau diese unspektakuläre Frage könnte wichtiger werden als die grosse Debatte über das Ende der Menschheit. Solange der wirtschaftliche Nutzen privatisiert, ein Teil des Risikos aber externalisiert wird, stimmen die Anreize nicht. Haftungsregeln könnten dafür sorgen, dass Sicherheit nicht nur eine ethische Verpflichtung ist, sondern einen Preis bekommt.
Was ich mitnehme
Die Welt geht nicht unter. Jedenfalls gibt es keinen belastbaren Grund, das heute zu behaupten.
Aber ich rechne mit Unfällen, die teuer werden, und mit Missbrauch, der Menschen kostet. Dafür gibt es inzwischen reale Anhaltspunkte. Die spektakulärste Gefahr – die KI, die die Menschheit abschafft – ist die am wenigsten belegte. Die viel banaleren Gefahren haben bereits begonnen.
Die Warnungen sind echt, und sie sind bequem. Beides zusammen.
Am 24. September sollen sich Trump und Xi Jinping in Washington treffen. Achten Sie darauf, ob KI vorkommt.
Und Anthropic bereitet seinen Börsengang vor. Ob die Aktie irgendwann indirekt in Ihrer Pensionskasse landet, entscheidet nicht Dario Amodeis Essay. Es hängt davon ab, wie Ihre Pensionskasse investiert – und später auch davon, in welche Aktienindizes Anthropic aufgenommen wird.
Quellen
1. CNBC, «Anthropic IPO filing will show AI backlash as a risk factor», 21.8.2026 – https://www.cnbc.com/2026/08/21/-anthropic-ipo-filing-will-show-ai-backlash-as-risk-sources-say.html
2. OpenAI, «The Hugging Face incident and the road ahead», 26.8.2026 – https://openai.com/index/hugging-face-incident-and-the-road-ahead/
3. Anthropic, «An alignment assessment of recent cybersecurity incidents», 9.9.2026 – https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
4. NPR, «Anthropic researcher resigns amid AI safety concerns», 9.9.2026 – https://www.npr.org/2026/09/09/nx-s1-5962889/anthropic-researcher-resigns-amid-ai-safety-concerns
5. Dario Amodei, «We Must Pace the Frontier», 12.9.2026 – https://darioamodei.com/post/we-must-pace-the-frontier
6. Anthropic, «Detecting and countering misuse of AI: September 2026», 10.9.2026 – https://www.anthropic.com/threat-intelligence-report-september-2026
7. AP, «China bristles at Anthropic CEO’s ‚fearmongering‘ about its AI development», 14.9.2026 – https://www.local10.com/news/world/2026/09/14/china-bristles-at-anthropic-ceos-fearmongering-about-its-ai-development/
Schreibe einen Kommentar