OpenWAI News

Kurz & Knapp

- Lokale Behörden in China rüsten ihr landesweites Überwachungssystem auf, indem sie Kameras mit Computer Vision und Sprachmodellen von Herstellern wie Hikvision und Huawei ausstatten.

- Die neuen Systeme ermöglichen es der Polizei, Videomaterial gezielt per Texteingabe zu durchsuchen, und können automatisch Auffälligkeiten wie Menschenansammlungen, unbefugten Zutritt oder suizidales Verhalten erkennen.

- Die Modernisierung folgt einer sicherheitspolitischen Direktive aus dem Jahr 2024 zur Vorhersage potenzieller Unruhen und weckt bei Menschenrechtsexperten die Sorge vor einer beispiellosen Überwachung des menschlichen Verhaltens in großem Maßstab.

Lokale Behörden in China statten Millionen alter Kameras mit Computer Vision und Sprachmodellen aus. Polizisten sollen Videomaterial künftig per Texteingabe durchsuchen und Unruhen vorhersagen.

China modernisiert sein landesweites Überwachungssystem mit generativer KI und gibt Polizeibehörden damit deutlich mehr Befugnisse zur automatisierten Verhaltensanalyse und Vorhersage potenzieller Unruhen. Das berichtet die Financial Times nach Auswertung von mehr als einem Dutzend Ausschreibungsdokumenten und Gesprächen mit Branchenkennern.

Gesichtserkennung, Kennzeichenscans und klassische Computer Vision setzt China seit Mitte der 2010er-Jahre flächendeckend ein. Das alte Netz war jedoch auf die Identifikation einzelner Personen ausgelegt, lief auf veralteter Hardware und schickte Material zur Auswertung in zentrale Rechenzentren. "Chinas altes Überwachungssystem ist reaktiv. Es ist nicht gut darin, die Absichten von Personen zu erahnen und zu verstehen, die nicht ausdrücklich überwacht werden", sagt Minxin Pei vom Claremont McKenna College gegenüber der FT.

Hersteller wie Hikvision und Huawei liefern laut dem Bericht inzwischen Kameras mit integrierter Computer Vision und Sprachmodellen. Die Systeme sollen erratisches Fahren, Menschenansammlungen, unbefugten Zutritt oder suizidales Verhalten an Brücken erkennen und Alarme auslösen. Die neueste Hikvision-Generation erlaubt es laut dem Bericht Beamten, Aufnahmen per Texteingabe zu durchsuchen, etwa nach "einer Frau mit rotem Hut".

"Die Polizei muss das Material nicht mehr manuell sichten. Sie füttert das System mit einem Text-Prompt, und es findet die Aufnahmen", sagte ein Hikvision-Manager der FT. Hikvision selbst erklärte, die Produkte digitalisierten "Routineaufgaben, die zuvor stark auf manueller Überprüfung beruhten".

Kleinere Budgets, gezielter Ausbau

Ein Beschaffungsdokument aus Yaodu in Sichuan sieht laut der FT etwa 175 HD-Kameras mit "intelligenter Videoanalyse" vor. Eine Ausschreibung der Polizei in Datong listet Hikvision-Kameras, die Geschlecht, Körperhaltung und Kleidung identifizieren. Die ersten Einsätze konzentrierten sich auf dicht besiedelte Stadtgebiete sowie Zonen um Militär- und Regierungsgebäude. Andere Behörden behalten bereits installierte Kameras, tauschen aber die Zwischenserver gegen "AI PCs" aus, die Video lokal verarbeiten und auch Cloud-Kosten senken sollen.

Die Aufrüstung folgt einer Direktive von Minister für öffentliche Sicherheit Wang Xiaohong aus dem Jahr 2024, die nach einer Serie von Gewalttaten erlassen wurde, die Fachleute auf eine durch Pandemielockdowns und schwächelnde Wirtschaft verstärkte mentale Gesundheitskrise zurückführen. Diese Vorfälle hätten "die Grenzen des derzeitigen Überwachungsapparats" offengelegt, so Pei. Maya Wang von Human Rights Watch warnt, die "Philosophie hinter Chinas Überwachungssystem wird umfassender". Generative KI und Computer Vision verschafften den Behörden "eine beispiellose Kapazität, Verhalten in großem Maßstab zu überwachen".

In einem Policy-Papier warnte Anthropic kürzlich, dass China bei weiter schließender Compute-Lücke bis 2028 nicht nur technologisch aufholen, sondern auch KI-gestützte Überwachung und Repression skalieren könnte.

Sam Altman und Dario Amodei rudern bei ihren Prophezeiungen zur KI-Jobapokalypse zurück, pünktlich zu milliardenschweren Börsengängen.

Das Wirtschaftsmagazin Fortune zeichnet nach, wie sich der Ton der beiden CEOs in den vergangenen Wochen verschoben hat. In einem Interview mit Commonwealth-Bank-Chef Matt Comyn sagt OpenAI-CEO Sam Altman: "Ich bin entzückt, dass ich damit falsch lag. Ich dachte, es gäbe inzwischen mehr Auswirkungen auf Einstiegspositionen im Bürobereich, als tatsächlich passiert ist."

Noch im Juni 2025 hatte Altman vor dem Wegfall ganzer Berufsgruppen gewarnt, Anthropic-CEO Dario Amodei sogar die Hälfte aller White-Collar-Jobs als gefährdet bezeichnet. Inzwischen formuliert Amodei Automatisierung als Produktivitäts-Multiplikator: "Wenn man 90 Prozent der Arbeit automatisiert, machen alle die restlichen 10 Prozent", die sich dann auf 100 Prozent ausweiteten.

Beide Firmen bereiten Börsengänge mit jeweils einer Billion Dollar Bewertung vor. Das Yale Budget Lab fand bislang keine signifikanten Veränderungen bei stark KI-exponierten Berufen. Zur Arbeitsmarktfrage passt auch eine Studie, laut der die Jobkrise bei Codern, Textern und anderen KI-exponierten Berufen schon vor ChatGPT begann, ein Hinweis darauf, dass einfache Erzählungen von der direkten KI-Jobapokalypse bislang zu kurz greifen.

25.000 US-Dollar für einige Minuten Starlink-Anbindung kassiert SpaceX neuerdings vom US-Militär. Es hat keine Alternative für die Steuerung von Drohnen im Kampfgebiet. Doch die Versorgung der iranischen Bevölkerung mit Mobilfunk per Starlink war der US-Regierung zu teuer. Nicht teurer wird Spotify, obwohl der Streamingdienst neben Büchern nun auch Zeitschriftenartikel vorliest. Über 650 englischsprachige Beiträge bekannter Magazine gehören jetzt zur Hörbuch-Bibliothek. Damit sollen Nutzer an das Hören längerer Texte gewöhnt werden, um sie langfristig für Hörbücher zu gewinnen. Derweil sperren immer mehr Nachrichtenseiten die Wayback Machine aus – nicht nur in den USA. Denn sie befürchten, dass der bekannte Archivdienst fürs KI-Training benutzt wird. Eine Studie zeigt, dass die Zahl der Blockierer zuletzt rasant gewachsen ist – die wichtigsten Meldungen im kurzen Überblick.

Kamikazedrohnen des US-Militärs fliegen für ein paar Minuten oder höchstens Stunden, bevor sie mit einer tödlichen Explosion in ihr Ziel auf dem Boden krachen. Für die zur Steuerung notwendige Starlink-Anbindung hat das US-Militär bislang 5000 US-Dollar bezahlt, pro Flugdrohne. Während des Angriffs auf den Iran konnte Starlink-Betreiber SpaceX seine Marktmacht ausspielen und den Preis auf fast 25.000 US-Dollar verfünffachen, wie jetzt unter Berufung auf Dokumente des US-Verteidigungsministeriums und zwei namentlich nicht genannte Eingeweihte berichtet wird. Der Preis von knapp 25.000 Dollar ist demnach der monatliche Tarif für Starlink-Terminals in Flugzeugen. SpaceX setzt ihn jetzt auch für Kamikazedrohnen durch: Neuer Starlink-Tarif von 25.000 Dollar für US-Kamikazedrohnen. Keine Preiserhöhung gibt es bei Spotify, obwohl der Streamingdienst sein Angebot erweitert hat. Denn Spotify hat etliche Zeitschriftenartikel in die eigene Hörbuch-Bibliothek aufgenommen. Nutzer können sich jetzt aus bekannten Magazinen wie Rolling Stone, The Atlantic, Vogue, Variety, Billboard, GQ, Wired und Vanity Fair vorlesen lassen. Zu Beginn stehen mehr als 650 englischsprachige Artikel zur Auswahl. Das ist allerdings nicht weltweit verfügbar, sondern auf Regionen beschränkt, in denen auch Hörbücher angeboten werden. Das Vorlesen der Zeitschriftenartikel ist im Premium-Abo enthalten. Gratis-Nutzer können einzelne Beiträge zudem für 1,99 US-Dollar erwerben. Es gibt sowohl menschliche als auch digitale Vorleser: Spotify erweitert Hörangebot um das Vorlesen längerer Artikel aus Zeitschriften. Im Kampf gegen die nicht genehmigte Nutzung von Inhalten für das Training von KI-Modellen gerät das Internet Archive immer mehr zwischen die Fronten, und die Wayback Machine droht zum Kollateralschaden zu werden. Das legt eine Analyse des Nieman Journalism Lab an der Harvard University nahe, laut der immer mehr Nachrichtenseiten Crawler der Archivseite aussperren. Demnach schränken inzwischen mehr als 340 lokale Nachrichtenseiten „den Zugriff des Internet Archive auf ihre Artikel sowie deren Archivierung“ ein, aber auch überregionale und internationale Medien wie die New York Times beteiligen sich demnach. Europäische Medien finden sich ebenfalls auf der Liste, derzeit aber noch keine aus Deutschland: Im Kampf dem KI-Training sperren immer mehr Nachrichtenseiten Wayback Machine aus. Lange hat BMW die Einführung von Elektroautos auf Basis der Neuen Klasse medial vorbereitet. Die ungenierte Nutzung eines so bedeutsamen Begriffs aus der eigenen Firmen-Historie sollte verdeutlichen, wie groß der Schritt ist, den BMW hier vollzieht. Die Marke wollte ein Statement setzen, und liefert das durchaus auch. Im Test zeigte der BMW iX3 zahlreiche Stärken und nur wenige Schwächen, was für die Bayern an zwei Stellen zu einem Problem wird, etwa bei der Differenzierung der angebotenen Modelle iX3 40 und 50, wobei das Basismodell schon einen Einstiegspreis von 63.400 Euro trägt. Letztendlich zeigt sich, dass der iX3 zwar ein kostspieliges Elektroauto ist, aber auch eines der besten, die es momentan zu kaufen gibt: E-SUV BMW iX3 im Test – mehr Reichweite als ich. In gänzlich anderen Preissphären bewegt sich Ferraris erstes batterieelektrisches Modell. Das Elektroauto namens „Luce“ ist für Ferrari nicht einfach ein weiteres Angebot, es ist natürlich auch ein Wagnis angesichts der Tifosi, die sich schon immer und ganz mehrheitlich über die vielzylindrigen Verbrenner begeisterten – mehr als viele Anwohner selbstredend. Doch statt einfach einen elektrischen Ferrari Purosangue zu kreieren, würde dem Selbstverständnis der Marke aus Maranello widersprechen. Der Ferrari Luce ist ein geräumiger, 772 kW leistender GT-Crossover, bei dessen Design Ferrari Unterstützung von Apple-Designern gesucht hat. Das wird vor allem im aufgeräumten und schlichten Interieur mit abgerundeten Kanten sichtbar: Luxus-Elektroauto Ferrari Luce für über 500.000 Euro. Ferrari )Auch noch wichtig: - „Star Citizen“ wird seit 14 Jahren entwickelt, „Squadron 42“ nur unwesentlich weniger. Finanziert wird das von Fans, inzwischen mit mehr als einer Milliarde durch Crowdfunding: Eine Milliarde US-Dollar für „Star Citizen“ und „Squadron 42“. - AdminLTE erscheint in Version 4.0 – mit komplettem Umbau auf Bootstrap 5.3, ohne jQuery und mit 18 neuen Demo-Seiten: Neustart für das Dashboard-Framework AdminLTE 4.0. - Wie lange können Roboter am Stück arbeiten? Figure AI hat es getestet. Aus einer Acht-Stunden-Schicht wurden am Ende acht Tage: Figure AI lässt seine Roboter 200 Stunden am Stück arbeiten. - Epic hat erstmals die Unreal Engine 6 in „Rocket League“ angeteasert. Ein Release-Termin und eine Feature-Liste fehlen: Epic zeigt erste Szenen in „Rocket League“ mit Unreal Engine 6. - Mit „007 First Light“ schafft es James Bond zum ersten Mal seit 2012 wieder in ein Videospiel. Die Wartezeit hat sich gelohnt. Das zeigt „007 First Light“ im Test: Das beste Bond-Spiel seit „Goldeneye“. - Mit iPhone 16e, 17e und Air hat Apple mit den eigenen C1- und C1X-Modems neue Datenschutzfeatures eingeführt. Das steckt hinter der Funktion „Genauen Standort beschränken“: Was Apples Mobilfunksicherheitsfunktion kann. - Laut neuesten Forschungen schrumpft nicht nur in entwickelten Industrieländern die Geburtenrate, sondern global. Wir haben ein paar aktuelle Zahlen dazu: Nicht nur für Industrieländer sind 2,1 Kinder pro Familie immer schwerer erreichbar. - Eine vorinstallierte App auf Motorola-Smartphones leitet Amazon-Aufrufe um und injiziert Affiliate-Codes. Betroffene können die App deaktivieren auf Motorola-Smartphones: Vorinstallierte App schleust offenbar Affiliate-Links ein. - Ende Juni 2026 ist Schluss für Ubuntu Pastebin. Zahllose Links könnten ins Leere laufen. Ein Ersatzdienst ist bislang nicht angekündigt nach dem Aus für Ubuntu Pastebin: Abschaltung Ende Juni 2026. - In aktuellen Versionen von NGINX Open Source und NGINX Plus haben die Entwickler eine Sicherheitslücke geschlossen: DoS- und Schadcode-Attacken auf NGINX-Webserver vorstellbar. - Ab Ende September 2026 synchronisiert die Samsung-Galerie-App keine Fotos mehr mit OneDrive. Nutzer müssen für Backups auf die OneDrive-App umstellen: Samsungs Galerie-App verliert OneDrive-Synchronisierung. - Nach der Ankündigung einer Remote-Funktion über die ChatGPT-App legt OpenAI noch einmal nach. Codex soll den Mac via Computer Use im Locked-Modus kontrollieren: OpenAI Codex steuert Mac auch in gesperrtem Zustand. - Huawei hat aufgrund der Sanktionen Schwierigkeiten, Transistoren weiter zu schrumpfen. Kurze Signalwege mit gestapelten Chips sollen die Probleme kaschieren bei der Chip-Lithografie: Huawei will Moore's Law ablösen.

Der Streamingdienst Spotify hat etliche Zeitschriftenartikel in die eigene Hörbuch-Bibliothek aufgenommen. Nutzer können sich jetzt aus bekannten Magazinen wie Rolling Stone, The Atlantic, Vogue, Variety, Billboard, GQ, Wired und Vanity Fair vorlesen lassen. Zu Beginn stehen mehr als 650 englischsprachige Artikel zur Auswahl. Das ist allerdings nicht weltweit verfügbar, sondern auf Regionen beschränkt, in denen auch Hörbücher angeboten werden. Damit erweitert der Streamingdienst sein Angebot weiter, nachdem Spotify kürzlich erst KI-generierte Remixe und Podcasts angekündigt hatte. Das erlaubt Nutzern, eigene Coverversionen und Remixe von Liedern teilnehmender Musiker zu erstellen, allerdings nur als kostenpflichtiges Add-on zusätzlich zum Premium-Abonnement. Das Vorlesen der Zeitschriftenartikel ist dagegen im Premium-Abo enthalten. Gratis-Nutzer können einzelne Beiträge laut Spotify zudem für 1,99 US-Dollar erwerben. Das soll dem üblichen Preis für den lesenden Zugriff auf diese längeren Artikel entsprechen. Sowohl menschliche als auch digitale Vorleser Künstliche Intelligenz (KI) kommt aber auch beim Vorlesen der Zeitschriftenartikel zum Einsatz, wenn auch nicht bei allen. Der Streamingdienst „wird eine Mischung aus menschlicher und digitaler Sprachnarration verwenden“, erklärte Spotify-Sprecherin Rosalind Jeffcoat gegenüber The Verge. „Der Teil der Artikel, der digitale Sprachnarration verwendet, wird für die Nutzer deutlich gekennzeichnet sein.“ Damit will Spotify auch kürzere Beiträge anbieten können, die andernfalls möglicherweise nicht als Hörfassung produziert worden wären.

Für Spotify stellt dies eine Möglichkeit dar, Nutzer an das Hören längerer Texte zu gewöhnen, um sie langfristig für Hörbücher zu gewinnen. „Indem wir kurzformatige Inhalte in den Mix integrieren, holen wir unser Publikum dort ab, wo es sich befindet“, erklärt Colleen Prendergast von Spotify. „So fördern wir gesunde Hörgewohnheiten und steigern langfristig das Engagement für Bücher.“ Für die Verlage und Zeitschriften ist es ein weiterer Kanal zur Verbreitung der eigenen Artikel. Unklar ist bislang jedoch, wie Medienverlage und Magazinpartner an den Spotify-Umsätzen der Artikel beteiligt werden und ob das Angebot in Zukunft auch deutschsprachige Beiträge enthalten wird.

China verschärft die Kontrolle über KI-Talente: Wer an fortgeschrittener KI arbeitet und als strategisch wichtig für das Land eingestuft wird, muss Auslandsreisen künftig von den Behörden genehmigen lassen, berichtet Bloomberg. Zu den Betroffenen zählen demnach unter anderem Start-up-Gründer, Forscher und KI-Führungskräfte privater Firmen wie Alibaba und DeepSeek. Unklar ist laut dem Bericht bislang, wie weit die Maßnahmen innerhalb der Branche reichen, welche Positionen betroffen sind und welche weiteren Rollen noch darunterfallen könnten. Reisebeschränkungen für Personen in strategisch wichtigen Bereichen gab es bereits früher. Neu sei, dass die Regierung nun gezielt Talente aus der KI-Branche und Angestellte von Privatfirmen ins Visier nimmt. Zwar hätten einige KI-Ingenieure aus der Privatwirtschaft schon zuvor Auslandsreisen bei den Behörden melden müssen. Eine vorherige Genehmigung sei jedoch nicht zwingend erforderlich gewesen.

KI-Wettlauf: Vom Chipzugang zur Talentkontrolle Die Ausweitung der Reisebeschränkungen folgt auf den Streit um die KI-Firma Manus. China hatte die Übernahme des ursprünglich in China gegründeten und später nach Singapur verlegten KI-Start-ups durch Meta untersagt und die beteiligten Unternehmen aufgefordert, bereits unternommene Schritte rückgängig zu machen. Im Zuge der Prüfung durften Manus-CEO Xiao Hong und Chefforscher Ji Yichao das Land nicht verlassen. Der Fall zeigt, dass Peking KI-Kompetenz zunehmend als strategische Ressource behandelt. Im KI-Wettlauf mit den USA standen bislang vor allem KI-Chips und die dafür nötige Halbleitertechnik im Vordergrund. Die neuen Reiseauflagen erweitern diese Logik auf die Personen hinter diesen Technologien: Wer an KI arbeitet, wird selbst zum sicherheitspolitischen Faktor. Dass die Maßnahmen nun auch private Firmen treffen, macht den Eingriff für Chinas KI-Branche besonders heikel. Für China ist das ein Balanceakt. Einerseits sollen die Reiseauflagen verhindern, dass strategisch wichtiges Know-how ins Ausland abfließt. Andererseits könnten sie genau jene Fachkräfte abschrecken, die China im Wettbewerb mit den USA dringend braucht. Für KI-Talente, die international arbeiten und forschen wollen, könnten heimische Firmen an Attraktivität verlieren. Manche könnten sich zudem gedrängt sehen, schon früher ins Ausland zu gehen, um sich internationale Karrierewege offenzuhalten und staatlichen Eingriffen wie im Fall Manus zu entgehen.

Deutschlands Unternehmen hadern rund zehn Jahre nach Inkrafttreten mit den Vorgaben der europäischen Datenschutzgrundverordnung (DSGVO), wie aus einer Studie des Digitalverbands Bitkom hervorgeht. Zwar ist demnach der Datenschutz inzwischen in den meisten Betrieben fest verankert, gleichzeitig aber beklagen die Firmen Aufwand, Komplexität und Rechtsunsicherheit. Weitgehend oder vollständig umgesetzt sind die DSGVO-Vorgaben inzwischen in 71 Prozent der Betriebe. Anfang 2018, kurz vor Anwendbarkeit des 2016 in Kraft getretenen Regelwerks, hatten erst sieben Prozent der Unternehmen die Vorgaben größtenteils oder vollständig umgesetzt. Parallel dazu ist die wahrgenommene Belastung deutlich gestiegen: 2016 gaben 25 Prozent der Unternehmen an, die DSGVO mache Geschäftsprozesse komplizierter – 2025 sind es 81 Prozent. 97 Prozent bewerten auch den Aufwand für Datenschutz inzwischen als hoch, davon 44 Prozent als sehr hoch. Der Anteil der Unternehmen, die der Auffassung sind, Deutschland übertreibe es mit dem Datenschutz, hat sich von 40 Prozent (2020) auf 72 Prozent (2025) nahezu verdoppelt. Zudem wächst auch die Rechtsunsicherheit über die genauen Datenschutzvorgaben: 82 Prozent der Unternehmen nennen das 2025 als eine der größten Herausforderungen, 2017 waren es 35 Prozent. Grundlage der Zahlen ist eine seit 2016 jährlich durchgeführte Befragung von Unternehmen ab 20 Beschäftigten durch Bitkom Research, zuletzt mit 603 Teilnehmern aus allen Branchen. Laut Bitkom sind die Ergebnisse repräsentativ. KI-Bremse DSGVO? Besondere Spannungen sieht der Branchenverband im Zusammenspiel von Datenschutz und Künstlicher Intelligenz. So betrachten zwar 59 Prozent der Unternehmen den europäischen Datenschutz im internationalen Vergleich grundsätzlich als Vorteil für die KI-Entwicklung. In der Praxis erweist sich dies jedoch als Hindernis: 69 Prozent geben an, der Datenschutz erschwere das Training von KI-Modellen mit ausreichenden Daten – 2023 waren es noch 42 Prozent. Zudem sind 63 Prozent überzeugt, dass der Datenschutz KI-Unternehmen aus der EU verdrängt. 59 Prozent geben an, dass Projekte zum Aufbau von Datenpools an Datenschutzvorgaben gescheitert oder gar nicht erst begonnen worden seien (2020: 41 Prozent). Auch das Problem der internationalen Datentransfers sehen die Firmen als ungelöst: Rund 61 Prozent der Unternehmen übermittelten 2025 personenbezogene Daten in die USA – mit Abstand das wichtigste Drittland für Datentransfers außerhalb der EU. 71 Prozent wünschen sich von der Politik tragfähige Lösungen für den internationalen Datentransfer (2021: 32 Prozent).

„Datenschutz ist keine lästige Pflicht, er ist eine zentrale Säule der digitalen Welt“, betonte Bitkom-Präsident Ralf Wintergerst. Allerdings hält er eine Reform der DSGVO für nötig: Die Erwartungen an einheitlichere Wettbewerbsbedingungen, mehr Rechtssicherheit und weniger Bürokratie hätten sich jedoch nicht erfüllt. Der auf europäischer Ebene geplante „Digitalomnibus“ biete dafür eine Chance. Allerdings gab es bei den derzeit laufenden Trilog-Verhandlungen dazu noch keine Einigung.

Dies ist der zweite Teil von „Kids ohne Skrupel". Wenn Ihr Teil eins noch nicht gehört habt, fangt am besten da an. Im Englischen Original von Jack Rhysider trägt diese Episode den Namen „Dirty Coms“.

Die deutsche Produktion verantworten Isabel Grünewald und Marko Pauli von heise online. Der Podcast erscheint wöchentlich auf allen gängigen Podcast-Plattformen und kann hier abonniert werden.

JACK: Mein Gast ist „Drew" – ein junger Mann, der als Teenager tief in die Welt der Online-Untergrund-Communities abgerutscht ist. Er gibt uns einen schonungslosen Einblick in die Szene rund um Hacker, Betrüger und digitale Schwarzmärkte. Drew erzählte uns in der ersten Folge, wie er mit dreizehn Jahren über Roblox und dubiose Robux-Deals in kriminelle Kreise geriet, sich an Geschenkkarten-Phishing beteiligte und auf dem berüchtigten Forum OGUsers mit dem Handel gestohlener Benutzernamen Geld verdiente. Dabei wurde er selbst mehrfach gedoxxt, erpresst und zweimal mit 10.000 USPS-Kartons vor seiner Haustür zugemüllt – eine beispielhafte Geschichte, für den schonungslosen Umgang Krimineller untereinander. In Teil 1 haben wir gehört, wie Drew Schritt für Schritt in diese toxische Welt hineingezogen wurde, welche Lektionen er über Opsec und Vertrauen im Netz gelernt hat, und warum er diese Szene heute dokumentieren und offenlegen will. Jetzt in Teil 2 wird es konkreter – denn Drew fängt an, Namen zu nennen und Methoden zu enthüllen, mit denen in diesen Communities richtig viel Geld gemacht wird.

Das Geschäft mit dem SIM-Swapping

DREW: Lass mal überlegen. Was habe ich Kids in letzter Zeit tun sehen?

JACK: Lass uns doch beim SIM-Swapping einsteigen.

DREW: Wir können über SIM-Swapping sprechen.

JACK: Okay, also ihr wisst vielleicht, was SIM-Swapping ist, aber falls nicht, erkläre ich es ganz schnell. SIM-Swapping ist, wenn du die Telefongesellschaft austrickst, damit sie eine fremde Handynummer auf dein Telefon beziehungsweise Deine SIM-Karte überträgt. Wenn man zum Beispiel sein Handy verliert und ein neues bekommt, muss man der Telefongesellschaft sagen, dass man ein neues Telefon hat und dass die Nummer darauf funktionieren soll. Eigentlich sollte es nicht möglich sein, dass jemand einfach deine Telefonnummer übernimmt, aber es gibt Wege, wie das gemacht werden kann. Der erste Weg ist ziemlich offensichtlich.

DREW: Man sucht sich einen Insider in diesen Unternehmen, normalerweise einen – wie wir ihn nennen – „Manny“ oder Manager, der einem seine Zugangsdaten gibt oder einfach SIM-Swaps durchführt, wenn niemand hinschaut, als wäre es ein imaginärer Kunde. Diese Insider werden häufig mit etwa 10.000 Dollar pro Swap bezahlt. So hat das SIM-Swapping angefangen.

JACK: Okay, das ist also eine Möglichkeit, einen SIM-Swap durchzuführen. Wenn man Filialleiter eines Handyladens ist, hat man natürlich die Möglichkeit dazu. Wenn man das für eines dieser Kids macht, kann man richtig viel Geld verdienen, locker über 1.000 Dollar pro Nummer. Vielleicht sogar 10.000 Dollar pro Nummer. Aber es gibt eine neue Methode, wie diese Kidsr das machen, und die ist irrsinig, geradezu brutal.

DREW: Da ist es nicht so, dass man nicht die Telefongesellschaft anruft; die neue Methode nennt sich Remo-Snatching. Remo ist die Abkürzung für Remote-Tablet. Man geht also zum Beispiel zu T-Mobile. T-Mobile ist derzeit das einfachste Ziel. Man geht in einen T-Mobile-Laden, rennt rein, reißt dem Filialleiter das Tablet aus den Händen und rennt wieder raus.

JACK: Alles klar. Wenn man das Tablet des Filialleiters hat, ist das das Gerät, das autorisiert ist, Telefonnummern zu übertragen. Es macht also Sinn, dass man durch den Diebstahl einen SIM-Swap bei jemandem durchführen kann. Aber halt, ganz so einfach ist es nicht. Gehen wir einen Schritt zurück und zwar einen großen Schritt zurück. Zuerst muss man wissen, bei wem es sich lohnt, einen SIM-Swap durchzuführen. Das Ziel zu identifizieren, kann lange dauern, und dafür sind viele Schritte nötig, und die möchte ich hier aufschlüsseln. SIM-Swapping war schon ein paar Mal Thema in den US-Darknet Diaries, zum Beispiel in den Episoden The Pizza Problem und Tennessee. Das sind zwei Geschichten, in denen Leute ins Visier genommen wurden, einfach weil sie wertvolle Benutzernamen auf Instagram und Twitter hatten. Okay, das wäre also ein Grund, jemanden ins Visier zu nehmen: um die Kontrolle über seinen Benutzernamen zu erlangen und ihn auf OGUsers für ein paar tausend Dollar zu verkaufen. Aber ich habe das Gefühl, das ist mittlerweile ein alter Hut. Es gibt eine ganz neue Verbrechenswelle, die da über uns rollt.

DREW: Die Leute führen einen SIM-Swap für Bankzugänge durch – also Bank-Logins –, über die sie Geld überweisen oder eine Überweisung vornehmen.

JACK: Okay, also Bank-Daten; obwohl das in dieser Community ein großes Ding ist, ist es wirklich schwer, sowas tatsächlich durchzuziehen. Zuerst muss man ein gültiges Login für den Benutzer herausfinden, und woher man Passwörter bekommt, darauf kommen wir später. Aber nehmt für den Moment einfach an, dass wir einen funktionierenden Benutzernamen und ein Passwort für ein Bankkonto haben. Wir loggen uns also in das Konto ein.

DREW: Aber es gäbe keine Möglichkeit, das Geld abzuheben, denn dafür müsste man ein Einmalpasswort oder eine Einmal-PIN erhalten. Also versuchen sie, die SIM-Karte der Person zu tauschen, um an den Einmal-Code zu kommen. SIM-Swapping bei Banken ist eigentlich ein verrücktes Unterfangen, denn es liegt zwar eine Menge Geld auf Bankkonten, aber man braucht auch praktisches Wissen über Geldwäsche, da man buchstäblich das Geld der Person stiehlt und einen Weg finden muss, damit es nicht zu einem zurückverfolgt werden kann. Das ist natürlich extrem schwierig.

JACK: Richtig, während es also einige wirklich clevere Leute gibt, die in diesem Bereich mitmischen, ist das einfachere Ziel, es auf Leute abzusehen, die Kryptowährungen haben. Denn mit Kryptowährungen ist es kinderleicht, das ganze Geld in einer Wallet zu schnappen und es einfach an einen Anonymisierungsdienst wie Tornado Cash zu senden und auszahlen zu lassen. Da das aber so ein lohnendes Ziel ist, sind allerhand Leute hinter Kryptowährungen her. Wie auch immer, es ist für diese Kids sinnvoll, Leute mit prall gefüllten Krypto-Wallets ins Visier zu nehmen, aber wie findet man jemanden mit einer fetten Krypto-Wallet? Nun, das erfordert eine ganze Reihe von Schritten.

DREW: Es handelt sich also um einen riesigen Markt, der ziemlich im Verborgenen stattfindet. Die Leute nutzen sogenannte „Combo-Listen“, also im Grunde durchgesickerte Datenbanken mit Passwörtern und E-Mail-Adressen, wobei die Passwörter natürlich entschlüsselt wurden, etwa mit RainbowCrack oder John the Ripper. Sie lassen diese Daten durchlaufen und suchen nach sogenannten „Commons“, also Passwörtern, die auf mehreren Websites verwendet werden.

JACK: Okay, ihr habt hier ja schon öfter von großen Websites gehört, die von Datenlecks betroffen sind, wo die gesamte Benutzerdatenbank gestohlen wird. Wenn man Kunde auf einer dieser Seiten ist, zuckt man vielleicht einfach mit den Schultern, ändert vielleicht sein Passwort und macht weiter, in der Hoffnung, dass nichts auf einen zurückfällt, oder? Nun, solche Daten sind in diesen Kreisen Gold wert. Zuerst kann man auf eine Seite wie raidforums.com oder nulled.2 oder cracked.2 gehen. Seiten, die Tonnen von kompletten Datenbank-Leaks posten. Es kostet vielleicht ein paar Dollar, um ranzukommen, aber man kann sich die dann direkt dort herunterladen. Wir sprechen von großen Websites, die gehackt wurden; und deren Datenbanken liegen genau dort, leicht zu schnappen, Seiten wie Adobe, die Alaska-Wählerdatenbank. Es gibt dort anscheinend eine Apple-Datenbank. Adult Friend Finder, die Android-Foren, und das ist nur ein kleiner Auszug aus den A's. In diesen Datenbank-Dumps können eine Menge Infos sein, enthalten typischerweise enthalten sie aber den Namen einer Person, ihren Benutzernamen, ihre E-Mail, vielleicht ihre Telefonnummer, vielleicht ihre Adresse und ihr Passwort. Aber ihr Passwort ist in der Datenbank typischerweise gehasht, was bedeutet, dass man nicht wirklich sehen kann, wie es lautet.

Datenlecks als Schatzkarte für Hacker

Ab hier kommen Tools ins Spiel, die Passwort-Hashes knacken können. Es ist schwer, einen einzelnen Hash zu knacken, aber wenn es das ist, was man haben will und man gleichzeitig also hundert Millionen Datensätze in der Adobe-Datenbank hat, dann wird man wahrscheinlich einige Hashes finden können, die nicht besonders stark sind. Für diese Leute hat man dann gültige Benutzernamen und Passwörter. Jetzt nimmt man diesen Benutzernamen oder diese E-Mail-Adresse und gleicht sie mit anderen Datenlecks ab. Verwendet diese Person Passwörter wieder? Gibt es Benutzernamen und Passwörter im Adobe-Leak, die auch bei Netflix funktionieren? Die Antwort ist immer: Leider ja. Viele Leute suchen sich einfach ein Passwort aus und verwenden das dann auf allen Seiten, auf denen sie Konten haben. Nur durch das Knacken eines Datenbank-Dumps hat man nun also Zugriff auf das Netflix-Konto von jemandem, und schon das eröffnet einen völlig neuen, riesigen Markt in den Untergrund-Communitys. Die Leute kaufen Netflix-Konten für jeweils 2,50 Dollar, weil das offensichtlich viel billiger ist, als die 18 Dollar im Monat für ein Premium-Abonnement zu bezahlen.

DREW: Okay, übertragen wir das mal auf Walmart, Chipotle, Nordstrom, OnlyFans, Surfshark, NordVPN, Macy’s Credit, Buffalo Wild Wings und Papa Johns.

JACK: Es gibt Seiten, auf die man gehen kann, um Benutzerkonten für jede dieser Websites zu kaufen. Man bekommt vielleicht sogar ein Kombipaket für einen Haufen Logins, sagen wir 10 Dollar für das ganze Paket. Aber Moment, ihr fragt euch vielleicht, warum jemand ein Login für eine Restaurantkette wie Chipotle kaufen wollen würde? Nun, willkommen beim Fall der mysteriösen Burrito-Bestellungen, von dem Leute im Chipotle-Subreddit berichten. Man kann eine Chipotle-App auf sein Telefon herunterladen und sie nutzen, um Essen zu bestellen, aber die App ist oft mit der Kreditkarte verbunden. Man kann also das Chipotle-Konto von jemand anderem nutzen, um einen Burrito für sich selbst zu bestellen, und dann bezahlen die anderen dafür. Das Gleiche gilt für Papa Johns; kostenlose Pizza, wenn man ein gültiges Login für das Konto von jemand anderem hat. Das führt uns in die Welt der Pizza-Plugs, die ich schon eine Weile genau beobachte.

Es ist fast schon ein Mythos. Es gibt diese Chatrooms, in die man gehen und eine Essensbestellung aufgeben kann, wie zum Beispiel drei große Pizzen, und jemand im Chatroom nimmt die Bestellung an und verlangt vielleicht 5 Dollar von dir. Dann nutzen sie das gestohlene Pizza-Konto, um sich einzuloggen, die Bestellung aufzugeben und dir dann die Pizza zu schicken. Es hat sie 2 oder 3 Dollar gekostet, das Konto zu kaufen; sie verdienen 5 Dollar damit. Du bekommst drei Pizzen für 5 Dollar, und oh, der Kontoinhaber ist derjenige, der dafür bezahlt. Ich sage euch, das geht so viel tiefer, als ich Zeit dafür habe. Oh, und der Slang für den Kauf und Verkauf dieser gültigen Logins ist einfach Logs. Es gibt also einen Haufen Leute da draußen, die Datenbank-Dumps durchsuchen und versuchen, gültige Logs für so viele Orte wie möglich zu finden, damit sie diese Logs mit Gewinn verkaufen können.

DREW: Apple-Logs kannst du für bis zu 50 Dollar verkaufen, denn die Leute können mit deiner verknüpften Apple-Kreditkarte ein paar MacBook-Bestellungen aufgeben. Wenn du davon zehn Bestellungen pro Tag bekommst, sind das 500 Dollar am Tag.

JACK: Ein wirklich beliebtes Login im Moment sind Hilton Honors Logins, weil dir diese Logs ein paar kostenlose Übernachtungen in einem schicken Hotel bescheren können. Okay, also gibt es zwei Arten von Konten, die man bekommen kann; FA und NFA. Das heißt, Full Access (Vollzugriff) und Non-Full Access (kein Vollzugriff). Alle Konten, die wir gerade aufgelistet haben, sind im Grunde NFA, kein Vollzugriff. Ein Konto mit Vollzugriff ist eines, das all diese gültigen Logins hat, plus ein gültiges E-Mail-Konto-Login. Das bedeutet also, wenn man in das Outlook oder Gmail von jemandem hineinkommt, dann kann man ganz einfach das Passwort für jedes dieser anderen Konten zurücksetzen, in das man hinein will. Es gibt einem wirklich vollen Zugriff auf das digitale Leben von jemandem, und es gibt ein kleines Tool, das Leute benutzen, mit dem sie, sobald sie im E-Mail-Konto von jemandem sind, schnell alle E-Mails durchsuchen können, um zu sehen, ob es in diesen E-Mails wertvolle Informationen gibt.

DREW: Das Programm, das das macht, heißt Yahoo Arranger. Es sucht automatisch nach Schlüsselbegriffen innerhalb von Yahoo oder den Websites, von denen man wissen will, ob sie dort angemeldet sind. Wenn man also sehen will, ob sie bei Amex oder Bank of America oder Chipotle angemeldet sind, nutzt man einfach Yahoo Arranger und schaut nach.

JACK: Verrückt, oder? Aber es ist wirklich nicht so komplex, wenn man auch keine FA-Konten hat. Man kann einfach einen Datenbank-Dump nehmen und ihn in eine Combo-Liste umwandeln; das ist nur eine formatierte Liste, die Benutzername und Passwort anzeigt, und man könnte diese Combo-Liste nehmen und hätte ein Tool bauen, das einfach automatisch versucht, sich bei unzähligen Seiten einzuloggen, um zu prüfen, ob das Passwort irgendwo funktioniert.

DREW: Dann nutzen sie Software wie Sentry NBA, OpenBullet oder SilverBullet, um damit automatisch all diese Combo-Listen zu überprüfen. Das ist also kein manueller Prozess, und er läuft mit wahrscheinlich 5.000 CPM, was bedeutet, dass er oft mit 5.000 Versuchen pro Sekunde läuft. Die Leute verkaufen schätzungsweise bis zu 5.000 Logs am Tag in ihren Shops. Ich persönlich kann sehen wie viel Bestand ein Shop hat, also kann man erkennen, wie viele Verkäufe man pro Tag erzielt. Ich habe gesehen, wie Leute bis zu 10.000 Konten pro Tag für 3,50 Dollar pro Konto verkauft haben; 35.000 Dollar.

JACK: Okay, jetzt sollte klar sein, wie jemand an einen Haufen gültiger Logins für verschiedene Seiten kommen kann. Aber eigentlich wollte ich das alles nur sagen, weil das euch helfen wird zu verstehen, wie wir jemanden finden, der eine Menge Kryptowährung hat, um ihn ins Visier zu nehmen.

DREW: Die beliebteste Datenbank, die ich in meinen Jahren hier je gesehen habe, ist die Ledger-Datenbank. Ledger ist ein Unternehmen, das physische Cold-Wallet-Speicher für Bitcoin anbietet. Denn, was sagt es über jemanden aus, wenn er eine Ledger-Wallet kauft? Es bedeutet, dass er oder sie Bitcoin hat. Das macht diese Personen zu deiner perfekten Zielgruppe für Kryptowährungen.

JACK: Oh, sehr interessant. Ledger ist eine physische Krypto-Wallet, und im Jahr 2020 wurde deren Benutzerdatenbank gehackt. Fünf Monate später wurde die Datenbank in Raid-Foren gepostet. In der Datenbank befinden sich E-Mail, Name, physische Adresse und Telefonnummer. Es waren aber keine Passwörter oder Krypto-Schlüssel dabei. Aber man kann natürlich die E-Mail-Adresse aus der Ledger-Datenbank nehmen und abgleichen, ob sie mit E-Mails in einer anderen Datenbank übereinstimmt, und dort kann man dann nachschauen, ob es bekannte Passwörter für diese E-Mail-Adresse gibt. Dann kann man versuchen, diese E-Mail-Adresse und das Passwort bei Coinbase oder Binance oder Kraken oder FTX oder Gemini oder irgendeiner Krypto-Börse einzugeben, um zu sehen, ob es ein gültiges Login ist. Das sind alles Krypto-Börsen, wo Leute ihre Kryptowährung aufbewahren. Wenn man den Benutzernamen und das Passwort von jemandem bei einer Krypto-Börse kennt, bedeutet das natürlich echten Ärger für ihn. Aber es gibt ein paar Sicherheitsprüfungen, die diese Börsen eingerichtet haben, um Kids wie diese zu bremsen. Erstens ist es schon sehr viel wert, nur zu wissen, ob die Person zum Beispiel bei Coinbase registriert ist. Vergesst das Passwort für eine Sekunde; einfach nur, ist diese E-Mail hier überhaupt registriert?

Wenn man die E-Mail-Adresse von jemandem und ein falsches Passwort eingibt, gibt es keinen Hinweis darauf, ob diese E-Mail dort registriert ist oder nicht. Wenn man jedoch versucht, sich für ein neues Konto mit einer E-Mail-Adresse anzumelden, die bereits existiert, dann Bingo. Coinbase lässt sich in die Karten schauen und sagt, dass diese E-Mail hier bereits registriert ist. So kann jemand den Ledger-Datenbank-Dump nehmen und herausfinden, wer Konten bei Coinbase oder Gemini oder Kraken oder Binance oder wo auch immer hat, und das dann mit anderen Datenbank-Dumps abgleichen, um herauszufinden, wie das Passwort für diese Konten lautet.

Wenn nun ein Dieb eine gültige E-Mail und ein Passwort für dein Krypto-Konto hat, steht ihm immer noch eine große Hürde im Weg; 2FA. Alle Krypto-Börsen verlangen, dass man die Zwei-Faktor-Authentifizierung aktiviert. Sie empfehlen, sich so etwas wie Google Authenticator oder Authy zu besorgen. Das sind Apps auf deinem Handy, die eine sechsstellige Nummer generieren, die du brauchst, um dich einzuloggen. Aber als absolutes Minimum schicken sie dir zur 2 Faktor Authentifizierung eine SMS mit einem sechs- oder siebenstelligen Code zum Einloggen. Ein Benutzername und ein Passwort allein reichen also nicht aus, um in das Krypto-Konto von jemandem zu gelangen. Man braucht auch diesen 2FA-Code. Die große Mehrheit der Coinbase-Nutzer verwendet solche SMS-Codes. Und Ihr ahnt, wo wir jetzt angekommen sind?

DREW: Viele Leute auf Coinbase besitzen Millionen von Dollar, daher diese Welle von SIM-Swapping. Dafür nutzen sie allgemeine Daten aus Datenbanken, verschaffen sich Zugang zu Coinbase – das läuft alles automatisiert ab – und erhalten dann Zugriff auf das Guthaben; sie haben einen SIM-Swap durchgeführt. Das ist enorm profitabel - profitabler geht's derzeit wahrscheinlich nicht.

JACK: Zu diesem Zeitpunkt haben wir genug Informationen, um das Ziel per SIM-Swap anzugreifen. Wir wissen, dass sie eine Ledger-Wallet haben und wir wissen, dass sie ein Coinbase-Konto haben, und wir haben ihren Benutzernamen und ihr Passwort. Alles, was jetzt noch nötig ist, ist, die Kontrolle über ihre Telefonnummer zu übernehmen, damit wir die SMS empfangen können, um uns einzuloggen. Aber obwohl das vielleicht ausreicht, um jemanden per SIM-Swap anzugreifen, gehen die Diebe noch einen Schritt weiter und versuchen herauszufinden, wie viel auf dem Konto ist, bevor sie jemanden per SIM-Swap angreifen.

DREW: Ob du's glaubst oder nicht, aber es gab etwa einen Monat lang eine Sicherheitslücke bei Coinbase, durch die man den Kontostand jedes beliebigen gültigen Benutzernamens und Passworts abrufen konnte. Das ging einfach – egal wie. Man brauchte keinerlei Zugriff außer Benutzername und Passwort. Man musste also keine SIM-Karte nachahmen, um den Kontostand zu sehen. Also haben die Leute einfach Millionen und Abermillionen von Kombinationen durchgespielt, eine Kombinationsliste bei Coinbase, und haben einfach die Millionäre von Coinbase gefunden. Und von diesen gibt es offensichtlich Millionen.

JACK: Das heißt, wenn man nur einen gültigen Benutzernamen und ein Passwort hatte, konnte man sehen, wie viel auf dem Coinbase-Konto des Benutzers war. Dadurch ist es dann sonnenklar, wen genau man für einen saftigen SIM-Swap ins Visier nehmen sollte. Aber man braucht immer noch diesen 2FA-Code, um reinzukommen und das Geld zu holen. Es war nur so, dass man ihn eine Zeit lang nicht brauchte, um das Guthaben zu sehen. Bleeping Computer veröffentlichte im Oktober 2021 einen Artikel, in dem stand, dass die Krypto-Wallets von 6.000 Coinbase-Kunden aufgrund einer Schwachstelle im 2FA-System leergeräumt wurden. Ich bin mir ziemlich sicher, dass es um diesen Bug geht, den Drew gerade erwähnt hat. Genau zu wissen, wie viel Geld jemand auf seinem Konto hat, ist entscheidend, um so einen SIM-Swap wirklich erfolgreich zu machen.

Es gibt noch ein letztes Detail zu Coinbase; wenn man einen gültigen Benutzernamen und ein Passwort hat und sich einloggt, sieht man, ob dieser Nutzer SMS-2FA nutzt oder so etwas wie Google Authenticator hat, weil die Seite einem sagt, nach welchem Code sie sucht. Die große Mehrheit der Coinbase-Nutzerinnen und Nutzer verwendet textbasierte 2FA, also SMS. Es kann jetzt immer noch das eine Problem geben, dass der Angreifer die Telefonnummer nicht kennt. Manchmal haben die die einfach noch nicht, und wenn man jemanden per SIM-Swap angreifen will, braucht man genau diese Telefonnummer, nicht wahr? Aber da steht direkt auf der Seite ein Hinweis, und der zeigt die letzten beiden Ziffern der Telefonnummer an, und da steht ausdrücklich: Gib den siebenstelligen Code ein, den wir gerade an sowas wie xxx-xxx-xx37 gesendet haben. Dieser kleine Hinweis, nur zu wissen, was die letzten beiden Ziffern der Telefonnummer sind, reicht diesen Dieben schon aus, um die vollständige Telefonnummer zu bekommen.

DREW: Also, normalerweise geht das so: Finde ihren Namen, ihren ungefähren Standort, ihre Telefonnummer. Es gibt eine Million Möglichkeiten, das zu tun. Mein Rat wäre: entschlüssle die E-Mail, die Sicherheitsvorkehrungen waren wahrscheinlich nicht besonders gut, sonst wären ihre Passwörter nicht durchgesickert. Darin findest du ihre IP-Adresse oder etwas anderes, mit dem du ihren Standort ungefähr bestimmen kannst. Führe dann eine Personensuche auf White Pages oder BeenVerified in diesem Gebiet mit ihrem Namen durch, und du wirst ihre Telefonnummer finden, die mit den letzten beiden Ziffern des Hinweises übereinstimmt.

JACK: Okay, so wählen diese SIM-Swapper also ihre Ziele aus. Zu diesem Zeitpunkt kennen sie den Benutzernamen, das Passwort, die Telefonnummer und den Kontostand, um zu wissen, ob sie einen dicken Fisch an der Angel haben. Oh, und man kann schnell nachschauen, zu welcher Art von Anbieter die Telefonnummer gehört, damit man den SIM-Swap beim richtigen Anbieter durchführen kann. Aber das ist ein großer Vorbereitungsprozess, nur um herauszufinden, wer unser SIM-Swapping-Ziel sein wird. Es ist sogar so viel Arbeit, dass dies, zumindest in den USA, ein ganz eigener Markt ist. Allein eine Liste von Zielen zu identifizieren und diese Informationen zu verkaufen, ist ein eigenes Geschäft. Obwohl es also nach viel Arbeit aussieht, könnte jemand einfach hier einsteigen, die Daten kaufen und einen SIM-Swap durchziehen. Okay, jetzt sind wir bereit für das große SIM-Swap-Event. Ihr erinnert euch, wie der Prozess anfing, oder?

Physischer Angriff für digitalen Profit

JACK: Jemand rannte in einen T-Mobile-Laden, riss dem Filialleiter das Tablet aus den Händen und rannte wieder raus. Das nennt sich hier ein Remo, Remote-Tablet-Grab. Aber wir sind immer noch nicht bereit für diesen Teil. Bevor man nämlich das Tablet des Managers stiehlt, braucht man das Passwort des Managers, das auf dem Tablet ist, richtig? Man muss also den Laden auskundschaften, alles über den Manager herausfinden, was man kann, um Social Engineering bei ihm anzuwenden.

DREW: Einfach den Manager anrufen und eine Rolle einnehmen: Hey, hier ist John vom Help Desk bei T-Mobile. Kannst du dich bitte um dieses Ticket kümmern? Dann schicken sie schicken eine gefälschte URL, und er gibt sein Manager-Login ein.

JACK: Okay, jetzt hat man also das Passwort des Managers, um sich in das Tablet einzuloggen, und wir wissen, wie man an das Tablet kommt. Und das ist tatsächlich ein großes Problem, das T-Mobile zu bekämpfen versucht, und es kursieren derzeit interne Memos mit Anweisungen, was zu tun ist, wenn das in deinem Laden passiert. Eine Anweisung ist, sofort das IT Help Desk anzurufen, um das Tablet und das Manager-Konto deaktivieren zu lassen. Das dauert insgesamt typischerweise etwa zehn Minuten. Wir müssen also wieder einen Schritt zurückgehen, denn wir haben nur dieses Zehn-Minuten-Fenster, und wir müssen alles in diesem Zeitraum erledigen. Wir müssen also vorbereitet sein, und wir haben unsere Vorbereitungen noch nicht getroffen. Was ihr hier wissen müsst, ist, dass das nicht von einer Person gemacht wird; der Dieb, der in den Laden rennt, ist nur ein Bauer in diesem Spiel.

DREW: Die auf Telegram sie nicht die Art von Leuten, die in einen Laden rennen. Sie bezahlen irgendjemanden, den sie im echten Leben kennen, damit er für sie in den Laden rennt.

JACK: Die Person, die reinrennt, das Tablet schnappt und wieder rausrennt, wird auf der Liste hier wirklich am schlechtesten bezahlt.

DREW: Verdient wahrscheinlich 200 Dollar, Bro. Ich hab's gesehen, dass das so ist.

JACK: Sie zahlen also 200 Dollar dafür, dass jemand reingeht, das Tablet schnappt und es ihnen wieder rausbringt. Sie müssen in der Nähe sein, denn ihr erinnert euch, sie haben nur zehn Minuten Zeit dafür. Die Person, die das Tablet am Ende in den Händen hält, ist also besonders geschickt darin, durch die T-Mobile-Software zu navigieren, um den SIM-Swap durchzuführen. Das liegt vielleicht daran, dass sie vorher im Laden gearbeitet hat oder ein Video gesehen hat, wie es gemacht wird. Aber trotzdem ist die Person, die tatsächlich auf dem Tablet tippt und den SIM-Swap durchführt, noch immer nicht dieselbe Person, die die Kryptowährung von den Coinbase-Nutzern stehlen wird. Das ist eine ganz andere Gruppe von Leuten, die all diese Coinbase-Logs gesammelt haben und darauf warten, dass jemand einen Remo macht. Sie organisieren sich alle in einem Telegram-Chatroom, und sie sind bereit, einer Person für einen Remo-Swap manchmal 10.000 Dollar pro Nummer zu zahlen.

Nur um noch mal sicher zu gehen, diese Leute sind in diesem Telegram-Kanal und sagen: Okay, ich hoffe, jemand zieht heute Abend einen Remo durch ich habe drei Konten, die ich knacken will. Dann ist alles, was man tun muss, diese Telefonnummer an die Person weiterzugeben, die den Remo durchführt, richtig?

DREW: Perfekt, Mann. Du klingst jetzt wie ein echter Swapper. Du benutzt unseren Slang.

JACK: Die Leute sind also auf Telegram und es ist Freitagabend, Samstagabend, und jemand sagt: Okay, ich glaube, wir versuchen es. Sie sagen der Gruppe: Ich fahre da runter, ich versuche, das Tablet zu schnappen. Ich bin bereit.

DREW: Es ist echt intensiv.

JACK: Ja, da sind all diese Leute, sie schließen ihre Zimmertüren ab. So nach dem Motto: Komm nicht rein, Dad, ich bin heute Abend beschäftigt. Komm nicht ins Zimmer, was auch immer du tust. Und dann sagen die Eltern so: Okay, wir geben dir etwas Zeit. [LACHT].

DREW: Oh, definitiv. Ich weiß, wovon du sprichst. Das passiert; Leute sagen wirklich: Oh, ich kann jetzt nicht. Ich muss Abendessen.

JACK: Ja.

DREW: Da denkt man sich: Mann, wir haben buchstäblich zehn Minuten Zeit, um das zu tun. Da ist keine Zeit fürs Abendessen. Es ist entweder Abendessen oder 100.000 Dollar. Du entscheidest.

JACK: Ja.

DREW: Das ist wirklich – das ist keine Übertreibung – so ist es wirklich manchmal. Unsere Remos sind so kurz.

JACK: Das ist es, was ich mir so gerne vorstelle, die tatsächliche Person hinter dem Bildschirm, und wenn das ein Teenager ist, dann ja, dann besteht diese Möglichkeit, dass alles in jeder Sekunde schiefgeht, weil der bei seinen Eltern wohnt und sein Zimmer aufräumen muss. Aber gut, zurück zur Geschichte, sie sind bei Telegram, sie bekommen die Nachricht: Okay, ich habe den Remo. Was hast du gesagt, 10.000 Dollar pro Nummer?

DREW: Also, nach nach Anbieter aufgeschlüsselt sieht es so aus: Bei T-Mobile kostet ein Swap etwa 5.000 Dollar. Wenn es sich um ein Betrugsopfer handelt, kostet es dich 7.500 Dollar. Ein Betrugsopfer verfügt über spezielle Schutzmaßnahmen für sein Konto, die jedoch immer noch umgangen werden können. Verizon wird dich wahrscheinlich mehr als 50.000 $ kosten. Verizon ist extrem gut gesichert, aber mit der richtigen Ausrüstung ist es trotzdem möglich. Du brauchst zum Beispiel den Login eines Filialleiters, was eine sehr hohe Position ist. Du musst also in der Lage sein, diesen Verizon-Manager ordentlich zu bezahlen, und du kannst das System nicht hacken. Das geht nicht – so sieht es zumindest derzeit aus. Man braucht einen Insider. Man darf ihn natürlich nicht verraten oder so. Bei AT&T sinken die Preise auf 2.000 bis 3.000 $, weil ihr Opus-Tool nicht allzu sicher ist.

JACK: Okay, diese Person, die den Remo-Snatch durchführt, lässt also alle Stunden vorher wissen, dass sie plant, an diesem Abend einen Remo zu machen.

DREW: Der Activator ist die Person, die den Remo-Snatch koordiniert.

JACK: Der Activator teilt also allen im Discord-Kanal mit, dass sie den Remo haben und bereit für Aufträge sind. Die Leute auf Telegram fangen sofort an, ihm Informationen zu geben; Telefonnummer und ICC-ID. Das ist alles, was sie brauchen, um den Prozess zu starten, bei dem die Telefonnummer vom Telefon des Kunden auf das Telefon des Diebes in Telegram zu übertragen. Es sind intensive zehn Minuten. Die Zeit tickt und jeden Moment kann dieses Tablet deaktiviert werden, also müssen sie so schnell wie möglich arbeiten und in diesem Zeitraum so viele Nummern wie möglich austauschen. An einem guten Abend kann ein Activator damit über 100.000 Dollar verdienen.

DREW: Ja, an diesem Punkt gehst du einfach hin und machst deinen Lick.

JACK: Mehr Slang.

DREW: Ein „Lick“ ist, wenn man jemanden ausnimmt, das ist also einfach ein „erfolgreicher Log“ – in unserem Slang bedeutet „Log“ also „Login“. Wenn man also einen „Lick“ landet, bedeutet das, dass man das Guthaben der anderen Person abgehoben hat. Es gehört dir; du hast gewonnen. Es gibt also mehrere Möglichkeiten, diesen Slang zu verwenden. Man könnte sagen: „Diese Person sieht nach einem Lick aus.“ Mit anderen Worten: Diese Person sieht nach einem leichten Ziel aus. Man könnte sagen: „Ich habe heute einen Lick gelandet“, was bedeutet, dass ich eine erfolgreiche Abhebung von einem Coinbase-Konto durchgeführt habe.

JACK: Nun haben diese Jungs also die Kontrolle über die Telefonnummern ihrer Ziele, und müssen ab jetzt schnell wie möglich zu arbeiten.

DREW: Du schwitzt wie irre. Du gehst hin und setzt das Yahoo-Passwort zurück. Du bist über einen Proxy in ihrer Nähe verbunden, nutzt einen Residential-Proxy in der Nähe des Zielortes, loggst dich in ihr Yahoo-Konto ein und setzt das Passwort zurück, da es meistens nicht dasselbe ist wie das für Coinbase. Wir erhalten den Link zur Geräteauthentifizierung von Coinbase, während du immer noch am schwitzen bist. Dein Holder sollte die ganze Zeit über Codes erhalten; du schreist deinen Holder an, dir den Code sofort zu schicken, sonst wirst du ihn nicht bezahlen.

JACK: Was? Sorry, ein Holder ist was genau?

DREW: Ein „Holder“ ist jemand, der das Telefon, auf dem das Einmalpasswort eingeht, tatsächlich in der Hand hält. Meistens machen die Personen, die die Zieldaten und das Guthaben besitzen, das nicht selbst, da das die operative Sicherheit gefährden würde.

JACK: Heilige Scheiße.

DREW: Es gibt dafür spezielle Personen, die die Handys nur halten, damit die Person, die die Hinweise oder Ziele hat, nicht erwischt wird.

JACK: Oh Mann, da ist also auch noch ein Holder in die ganze Sache involviert. Ja, Holder werden einfach dafür bezahlt, dass sie diejenigen sind, die das Telefon gekauft haben und die Nummer darauf übertragen lassen. Okay, die Person, die den Lick machen will, fängt also vielleicht zuerst damit an, in die E-Mail des Opfers zu gehen und das Passwort zurückzusetzen. Bei vielen E-Mail-Anbietern wird dir eine SMS geschickt, um das Passwort zurückzusetzen. Der E-Mail-Anbieter schickt also die SMS und der Holder sagt der Person, wie die SMS lautet, und sie bekommen den Zugang zum E-Mail-Konto, und von dort aus versuchen sie, sich bei Coinbase einzuloggen. Nach Eingabe des Benutzernamens und Passworts wird eine SMS an das Telefon geschickt, das der Holder hat, und der Holder muss den Code an den eigentlichen Angreifer weitergeben. Der loggt sich nun bei Coinbase ein. Aber bei Coinbase gibt es typischerweise eine Prüfung, und dann steht da sowas wie: Wir erkennen dieses Gerät nicht. Wir senden dir eine E-Mail, um zu überprüfen, ob du es bist. Aber der Angreifer ist ja bereits in dem E-Mail-Konto des Opfers, also muss er nur auf die E-Mail warten und auf "Ja, ich bin's" klicken, und Coinbase lässt ihn rein. Jetzt ist er im Coinbase-Konto von jemandem, und dort liegen vielleicht 30.000, 100.000 oder manchmal sogar mehr als eine Million Dollar.

DREW: Anschließend überträgst du das Guthaben auf Coinbase Pro, damit du das Geld abheben kannst, und transferierst es dann in deine Exodus-, MetaMask- oder Electrum-Wallet.

JACK: Der Grund, warum sie es zu Coinbase Pro transferieren, ist, weil es dort ein höheres tägliches Abhebungslimit gibt. Aber dort gibt es auch eine Sicherheitsprüfung, bevor man da Geld abheben kann, eine weitere 2FA-Prüfung. Also muss man eine weitere SMS vom Holder bekommen, um die Überweisung einzuleiten. Aber da ist immer noch eine weitere Sicherheitshürde; Coinbase hat ein maximales tägliches Abhebungslimit, und manchmal haben die Leute mehr als das. Aber Drew sagt, das sei kein Problem.

DREW: Ja, es gibt ein paar Tricks. Die Leute nutzen Sicherheitslücken, über die ich nicht sprechen darf, aber ja, es gibt da Wege, 250.000 Dollar oder eine Million Dollar abzuheben. Man kann riesige Geldsummen abheben. Es gibt eine Methode, die jeder kennt und die ich dir verraten kann, ist, ein bestimmter Bot in einem Forum, der in der Lage ist, gleichzeitig eine Flut von Anfragen zu senden, um das System zu überlasten, sodass man eine Reihe kleinerer Transaktionen abwickeln kann. Aber es gibt auch andere Methoden, die direktere Sicherheitslücken ausnutzen.

JACK: Meine Güte, diese Kids haben echt gnadenlos entschlossen. Warum sollten sie das auch nicht sein, wenn es einen potenziellen Eine-Million-Dollar-Lick gibt, den sie damit abstauben können?

DREW: Die neue Generation der Krypto-Swapper – ich kenne da persönlich wahrscheinlich mindestens zehn Millionäre, die alle unter sechzehn sind und von denen ich mit Sicherheit weiß, dass sie nicht lügen; ich habe live gesehen, wie sie Transaktionen getätigt haben, und live miterlebt, wie sie Millionen-Dollar-Gewinne eingefahren haben. Was die ältere Generation angeht, diejenigen, die extrem früh dabei waren mit den verrückten 20-Millionen-Dollar-Zielen von Michael Turpin: Die haben 15 Millionen Dollar, 10 Millionen Dollar und sind in neuen Geschäften wie NFTs und Phishing tätig. Also wirklich high-level Sachen.

JACK: Okay, Michael Turpin ist ein Kryptowährungs-Investor, aber er hat auch ein paar Startups in diesem Bereich, wie Transform Group und BitAngels. Im Januar 2018 hat jemand die Schritte durchgeführt, die wir hier gerade erklärt haben, um sich in Turpins Krypto-Wallet zu hacken und Kryptowährungen im Wert von 23 Millionen Dollar daraus zu stehlen. 23 Millionen Dollar, in einer Nacht gestohlen. Und ihr wisst, sobald die Person das Geld hatte, musste sie all die Leute in der Kette bezahlen, die ihr geholfen haben, dorthin zu gelangen. In diesem Fall waren es Insider, die bei AT&T arbeiteten, die dabei halfen. Nun, einer der Typen, die 23 Millionen Dollar gestohlen hatten, war immer noch nicht glücklich. Er twitterte: Habe 23 Millionen Dollar gestohlen und kann mich trotzdem nicht von Drogen fernhalten. Habe 23 Millionen Dollar gestohlen und kriege mein Leben nicht auf die Reihe. Turpin ging natürlich zur Polizei, die anfing zu ermitteln und einige ziemlich handfeste Beweise finden konnte, die sie zu dem Urheber der Tweets namens Nicholas Truglia führten, der einundzwanzig war. Mastermind der Aktion war aber der erst 15-jährige Ellis Pinsky.

Weil er noch minderjährig war, konnte Ellis eine Verurteilung umgehen und das meiste Geld zurückgeben. Bei Nicholas war das anders: Gerichtsakten zeigen, dass er zum Zeitpunkt seiner Verhaftung über 70 Millionen Dollar an Vermögenswerten hatte. Er hatte sich schuldig bekannt und sollte zunächst nur 18 Monate absitzen und 20 Millionen Entschädigung an die Opfer zahlen. Weil er das nicht in der vorgegebenen Zeit tat, wurde er zu 12 Jahren Haft verurteilt. Was Michael Turpin betrifft, so war der richtig wütend, dass er 23 Millionen Dollar verloren hatte. Natürlich war er das, aber er hatte auch fünfzig andere Krypto-Konten und die waren alle in Ordnung, also bin ich mir nicht sicher, welcher Prozentsatz seiner Krypto-Gelder gestohlen wurde, aber er war auf jeden Fall so wütend, dass er sowohl Nicholas als auch AT&T verklagte. Er verklagte AT&T auf 200 Millionen Dollar und behauptete, die Person, mit der er am Telefon gesprochen hatte, habe gesagt, seine Telefonnummer sei sicher und könne nicht per SIM-Swap übernommen werden, und dennoch wurde sie es. Er wollte, dass AT&T zugibt, dass sie der Hauptgrund dafür sind, dass sein Geld gestohlen wurde. Der Richter wies den Fall jedoch ab. Aber Turpin verklagte auch den Hacker, Nicholas, und diese Klage gewann er. Der Richter sprach Turpin 75 Millionen Dollar zu. Während Turpin also 24 Millionen Dollar verlor, wurden ihm letztendlich 75 Millionen Dollar als Entschädigung zugesprochen. Wilde Sache.

Ellis Pinsky hat später übrigens Computer Wissenschaften und Philosophie an der NYU studiert und will mit seinen Jugendsünden nichts mehr zu tun haben.

DREW: Ein wichtiger Tipp für alle Krypto-Anleger da draußen oder alle, die Coinbase-Konten haben: Nutzt für verschiedene Zwecke jeweils eigene E-Mail-Adressen. Trennt eure private E-Mail-Adresse von der für eure Krypto-Investitionen.

JACK: Alles klar, das ist sinnvoll. Wir sind jetzt von "Verwendet keine Passwörter mehrmals" bei "Verwendet keine E-Mails auf hochkarätigen Konten wieder" gelandet. Wenn man eine E-Mail-Adresse hätte, die nur für die Krypto-Börse da wäre und man sie nirgendwo sonst nutzen würde, dann wäre es wirklich schwer, diese E-Mail-Adresse zu finden und sie zu knacken, denn schließlich braucht man einen Benutzernamen und ein Passwort, um in diese Börsen zu gelangen, also warum nicht den Benutzernamen wirklich schwer auffindbar machen? Wenn dein Benutzername Deine E-Mail-Adresse ist, die du für alles benutzt, dann ist das so, als würdest du jedem, mit dem du chattest, die Hälfte deines Logins geben. Wir sind jetzt die 100 Schritte durchgegangen, die es braucht, um jemanden per SIM-Swap anzugreifen und sein ganzes Geld zu stehlen. Das war alles andere als eine schnelle und einfache Methode, um reich zu werden. Es brauchte eine ganze Menge Recherche, um nur ein gutes Ziel zu finden, und das ist wichtig zu wissen, denn die Leute stellen mir ständig Fragen wie: Oh, wie gefährlich kann das sein, wenn ich mein Geburtsdatum auf meinem Facebook-Profil angebe? Sie erwarten irgendeine schnelle und einfache Möglichkeit, wie ein Hacker das gegen sie verwenden kann, aber es ist nicht immer schnell und einfach. Wenn diese Art von Kriminellen Wind davon bekommen, dass du etwas hast, was sie wollen, werden sie dein Leben auskundschaften und ein massives Dossier über dich anlegen, damit sie dein digitales Leben komplett übernehmen und zu dir werden können.

Jeder kleine Fetzen zusätzlicher Information, den sie über dich bekommen können, kann für sie potenziell zum massiven Zahltag werden. Wenn irgendeine obskure Website, bei der du ein Konto hattest, gehackt wird und sie das Passwort bekommen, das du benutzt hast, und du dieses Passwort woanders wiederverwendest, öffnet ihnen das einfach Tür und Tor. Offensichtlich hat es für sie einen Wert, in deine E-Mail und an deine Telefonnummer zu kommen, also sind sie begeistert davon, wenn du das einfach öffentlich postest. Aber dann gibt es noch die kleinen Dinge; in welcher Stadt du bist, welchen Browser du benutzt, welche Dinge du magst, wo du gerne Kaffee trinkst und wer deine Familienmitglieder sind. All diese Dinge können genutzt werden, um dich weiter auszunutzen. Wenn sie wissen, in welcher Stadt du bist, können sie einen Proxy an deinem Standort nutzen, um ihren Datenverkehr so aussehen zu lassen, als käme er von irgendwo in deiner Nähe. Wenn sie wissen, welchen Browser du benutzt, hilft ihnen das, mehr wie du auszusehen, wenn sie versuchen, auf deine Konten zuzugreifen, und wenn sie wissen, welche Dinge du magst, könnte ihnen das etwas über andere Bereiche deines Lebens verraten, die sie sich ansehen sollten. Und wenn sie wissen, wo du gerne Kaffee trinkst, könnte das dazu führen, dass sie dir dort auflauern und dir die Taschen ausräumen, während du in der Schlange für deinen Latte stehst.

Wenn sie Informationen darüber haben, wer deine Familienmitglieder sind, könnten diese Familienmitglieder ins Visier genommen werden. Drew hier hat mir eine Geschichte darüber erzählt, wie die Kids einmal, als sie in das Konto eines Typen kommen wollten, der Ehefrau eine SMS schrieben und sich als der Ehemann ausgaben, um sie dazu zu bringen, die 2-Faktor-Authentifizierungscodes über SMS vorzulesen. Je mehr Informationen sie über dich haben, desto einfacher macht es ihre Arbeit. Stell dir vor, sie hätten vollen Zugriff auf dein Bankkonto und beschließen, das gesamte Geld abzuheben, aber deine Bank entscheidet: Moment, da stimmt etwas nicht, und sie hinterfragen die Überweisung und sagen: Hm, nur um sicherzugehen, dass Sie es sind, wie lautet Ihr Geburtstag? Nun, dieses eine Datum, das du für so harmlos hieltest, um es einfach öffentlich zu teilen, hätte deine Rettung sein können, wenn du es nicht auf Facebook gepostet hättest. Ich hoffe, du bist jetzt überzeugt, deine privaten und persönlichen Daten niemals auf einer öffentlichen Website zu teilen.

Wie nennst du das, diese Gruppe?

DREW: Es gibt da ein paar verschiedene Begriffe. Wir nennen es vor allem „Com“.

JACK: Com, geschrieben C-O-M; das ist die Abkürzung für Community, und das ist neu für mich. Zu meiner Zeit nannten wir es die Szene. Jetzt ist es wohl die Community.

DREW: Ja, wir nennen es aber einfach „Com“. Dann gibt es noch „Simming Com“ und es gibt „Cracking Com“, „Roblox Com“, „Twitch Com“. Da geht's um Twitchzugänge. Es gibt ein „Vanilla Com“. Es gibt „Infosec Com“.

JACK: Huh, die Infosec-Com war mir nicht geläufig, aber Drew hat es mir erklärt. So wie er es sagt, gibt es einige Leute im IT-Sicherheitsbereich, die Teil des Infosec-Twitters seien und als gute Sicherheitsforscher respektiert werden wollen, aber gleichzeitig auch Dinge tun wollen, die illegal oder unethisch sind, und sich quasi gleichzeitig als unschuldiger White Hat und als zwielichtiger Black Hat verhalten, so wie Ryan Phobia Stevenson. Das ist der Typ, der ein paar Bugs meldete, die er bei Telekommunikationsunternehmen gefunden hatte, und dafür belohnt wurde. Aber dann nutzte er diese Bugs, um Kundendaten von Telekommunikationsunternehmen abzugreifen und sie auf Untergrundmärkten zu verkaufen. Der Typ hat doppelt kassiert. Es hört sich so an, als gäbe es Coms für jeden kleinen Schwerpunktbereich, in dem Leute online Geld verdienen können. Aber der rote Faden bei all dem ist, dass sie alle unethische Coms sind, und deshalb nenne ich sie schmutzige Coms. Das sind fiese Communitys.

Der Goldrausch im NFT-Markt

JACK: Lass uns über NFTs sprechen. Also, jeden Tag in den Nachrichten sehe ich einen weiteren Angriff auf NFTs, wie zum Beispiel, dass jemand um seinen Bored Ape betrogen wird oder...

DREW: Ja, natürlich.

JACK: Oder...

DREW: Der Klassiker...

JACK: Okay, fahr fort. Du hast das gesehen. Ist es jemand aus deinen Coms, der diese Dinge durchführt?

DREW: Okay, also, es geht um die ersten, wirklich, wirklich reichen SIM-Com-Nutzer, die ich erwähnt hatte. Also, diese ersten reichen Simmers, die nicht in der aktuellen Version sind, stehlen NFTs. Es gibt eine Gruppe von Leuten, die ich kenne – ich werde sie nicht namentlich nennen, aber im Grunde sind es einfach Leute, die buchstäblich auf Discord gehen; jemand sagt, er brauche Hilfe mit einem NFT. Sie schreiben ihnen eine Nachricht, sie posten ihre Links.

JACK: Huh, ich habe das selbst während des großen NFT-Hypes aus erster Hand miterlebt. Ich war in einem NFT-Discord. Und falls ihr nicht wisst, was ein NFT ist, in diesem Fall ist es einfach digitale Kunst, die man kaufen und verkaufen kann, und diese digitalen Kunstwerke gingen für Tausende von Dollar pro Stück weg, und manchmal sogar für Hunderttausende von Dollar pro Stück. In Discord bekam ich eine Direktnachricht, in der stand, ich sei ausgewählt worden, auf einer Vorverkaufsliste für einen dieser NFT-Drops zu stehen, und ich müsse ihn jetzt kaufen. Aber natürlich habe ich nicht auf den Link geklickt. Aber jemand im Kanal hat es getan, und die Seite sagte, um das NFT zu prägen, müsse man nur sein MetaMask-Krypto-Wallet verbinden und seine 24-Wort-Seed-Phrase eingeben. Nun, diese 24-Wörter sind absolut nichts, was man jemals teilen sollte. Das ist im Grunde das private Passwort zu deiner Krypto-Wallet, und wenn du das jemandem gibst, hast du ihm im Grunde die Kontrolle über deine gesamte Krypto-Wallet übergeben. Nun, diese Person gab ihre Seed-Phrase auf der gefälschten Website ein, und sobald sie das tat, gelangte der Dieb in ihre Krypto-Wallet und nahm all ihre wertvollen NFTs und verkaufte sie für etwa den halben Preis. Der Dieb machte etwa 40.000 Dollar in Ethereum in vielleicht fünf Minuten. Es war absolut verrückt, mitanzusehen, wie dieser Person direkt vor meinen Augen das Konto leergeräumt wurde, und es gab nichts, was irgendjemand tun konnte, um es zu stoppen.

Es gibt echt keinen Mangel an Geschichten von Leuten, die digital ausgeraubt werden und denen die Krypto-Wallet gestohlen wird, und ich glaube, der Grund ist der, dass diese Krypto-Wallets Unmengen an Geld beinhalten und sie genau wie Browser-Add-ons sind. Wenn du deine Krypto-Wallet mit der falschen Seite verbindest, ist das Spiel vorbei, und es ist so einfach, sie mit der falschen Seite zu verbinden. Es ist ein bisschen, als hätte man sein Bankkonto direkt im Browser als Plug-in zugänglich, und alle Seiten, die man besucht, wollen alle einen Blick darauf werfen. Aber das ist erst der Anfang; fast jeden Tag passiert das. Es gibt so viele Betrüger, die versuchen, Zugang zu den Krypto-Wallets von Leuten zu bekommen, in denen sich Kryptowährung oder ein NFT befinden könnte. Die Betrügereien sind riesig und schnell, sie kommen aus jedem Winkel auf dich zu, wenn du dich in diesem Bereich bewegst. Zum Beispiel war ein anderer großer Betrug, den ich gesehen habe, als ein NFT-Projekt kurz vor dem Start stand. Und der Starttag ist ein großer Tag. Jeder, der dabei sein will, will sich beeilen, um seine Token zu prägen und zu hoffen, dass der Preis steigt. In diesen Momenten herrscht also ein Rausch, weil es ein begrenztes Angebot gibt und man nicht leer ausgehen will. Wenn Leute es also eilig haben, etwas zu kaufen, sind sie bereits anfällig dafür, Fehler zu machen, und typischerweise werden eifrige Käufer im Discord-Chatroom für dieses NFT sein, um zu beobachten, was vor sich geht. Aber es gibt eine ganze Reihe von Dingen, die dabei schiefgehen können. Erstens kann der Besitzer des Discords gehackt werden, und Drew erklärt, wie das passiert.

DREW: Sie haben ihre Glaubwürdigkeit über einen Freund aufgebaut; so läuft das immer. „Hey, mein Freund meint, ich soll mal mit dir reden.“ Irgendwann schleicht er sich dann langsam heran, indem er eine Art Datei schickt, mit der sie ihn tatsächlich über das Discord-Token-Protokoll identifizieren können.

JACK: Wenn ihr Discord benutzt, stehen die Chancen gut, dass ihr nicht jedes Mal euren Benutzernamen und euer Passwort eingebt, wenn ihr die Seite besucht oder die App öffnet. Das liegt daran, dass, sobald man sich authentifiziert hat, ein kleines Authentifizierungs-Token auf dem Computer existiert, das einen eingeloggt hält. Aber wenn man einfach das Authentifizierungs-Token nehmen kann, dann kann man sich als diese Person einloggen, ohne ein Passwort zu benötigen. Das Authentifizierungs-Token hat all das Zeug da drin, und ja, wenn man jemanden dazu bringen kann, seine Malware zu installieren, kann die Malware das Token stehlen. Okay, wenn man also Zugang zum Konto eines Moderators auf einem beliebten Discord-Kanal bekommt, der kurz davor steht, ein NFT zu starten, dann kann man eine Menge Geld verdienen. Alles, was man tun muss, ist, die offizielle Website dieses NFTs zu kopieren, was super einfach ist, und eine ähnlich aussehende URL mit einem anderen Buchstaben zu erstellen, und zu ändern, wohin das Geld geht, wenn jemand das NFT kauft. Anstatt dass das Geld an den NFT-Macher geht, geht es jetzt in deine Wallet. Alles, was man jetzt noch tun muss, ist, die Leute auf seine Seite zu leiten, und da man ein Moderator ist, kann man das.

DREW: Poste eine Hauptnachricht, Feuer frei.

JACK: Die Nachricht könnte lauten: "Minting ist jetzt live, offen für alle, aber beeilt euch; wir schließen in zehn Minuten". Einige dieser Discord-Kanäle haben über 50.000 Leute da drin, alle bereit zum Kauf. Ihr könnt euch vorstellen, dass, wenn 50.000 Leute eine Nachricht wie diese sehen, dass das Projekt live gegangen ist und sie bereit zum Prägen sind, dass sie auf die Seite strömen werden, um ihre NFTs zu kaufen. Ich habe das immer und immer wieder gesehen. Betrüger infizieren Discord und verdienen damit in zehn Minuten über 100.000 Dollar. Aber es gibt auch andere Betrügereien, die auf Discord ablaufen.

DREW: Es gibt Leute, die tatsächlich NFT-Discords kaufen und sie dann künstlich anwachsen zu lassen. Das machen sie, um einen Exit-Scam durchzuziehen oder einfach um sie an jemanden zu verkaufen, der einen Exit-Scam durchziehen wird.

JACK: Oh ja, das habe ich auch gesehen. Wenn man ein NFT-Projekt findet, das 100.000 Follower auf Twitter und 80.000 Mitglieder auf Discord hat, wird man denken, dass das ein heißes NFT-Projekt ist, und sich mehr dafür begeistern. Aber die Zahlen sind alle gefälscht. Es ist ein Discord-Kanal, der erst letzte Woche gekauft wurde, und er kam schon mit 80.000 Mitgliedern, aber das sind alles Bots. Es erzeugt also einen falschen Hype darum, und sie starten ein Projekt und die Leute bezahlen sie, und sie bekommen nichts dafür außer irgendein billiges Kunstwerk, das von jemandem auf Fiverr gemacht wurde. Die Macher schnappen sich einfach das Geld und verschwinden. Auch hier kann ein Betrug wie dieser jemandem über 100.000 Dollar einbringen, wenn er richtig gemacht wird. Aber das sind sicherlich ziemlich aufwendige und komplexe Betrügereien. Es dauert lange; man muss eine Website bauen, einen NFT-Server kaufen, die ganzen Kunstwerke erstellen. Es ist nicht einfach und erfordert echtes Fingerspitzengefühl. Aber dann, als gäbe es nicht schon genug NFT-Betrügereien, passieren auch noch Influencer-Betrügereien.

DREW: Sie engagieren eine seriös wirkende Person als Strohmann. Es handelt sich um wohlhabende Leute, die als Krypto-Influencer auftreten und andere dazu bringen, auf diese Tricks hereinzufallen – zum Beispiel ihre Freunde. Sie überreden ihre Freunde, auf NFT-Betrügereien hereinzufallen, und hinter all dem stecken diese millionenschweren SIM-Swapper. Das ist schrecklich.

JACK: Yikes, Mann, man kann in NFT-Land nicht einmal seinen Freunden vertrauen. Sie könnten von den Betrügern dafür bezahlt werden, dich zu betrügen. Ich habe mich ein bisschen mit diesen NFTs beschäftigt und ich sage euch, das ist nichts für Anfänger. Es ist gespickt mit Landminen, Hackern, Dieben, Betrügern, Kriminellen und so vielem mehr, was für mich ein Spaß ist, den ganzen Wahnsinn zu beobachten.

Vom Kinderzimmer ins Gefängnis

JACK: Es ist aber nicht jedermanns Sache, und diese Leute versuchen hart, an deine Krypto-Wallet zu kommen und deine Vermögenswerte zu plündern. Sie können es ungestraft tun, weil es so schwer ist, Krypto-Raubüberfälle zurückzuverfolgen.

DREW: Die machen das aus reiner Profitgier, Leute wie Joel Ortiz, Nicholas Truglia, Xavier Clemente.

JACK: Warum nennst du hier diese Namen?

DREW: Die Namen sind ja bekannt, die wurden verhaftet.

JACK: Oh, okay. Oh, die – die wurden alle verhaftet?

DREW: Die berühmtesten SIM-Swapper, die verhaftet wurden sind; PlugWalkJoe, AKA Joseph, James O’Connor.

JACK: Okay, ich muss nachschauen, was diese Leute getan haben. Okay, Joel Ortiz wurde wegen SIM-Swapping verhaftet. Tatsächlich war er die allererste Person, die wegen SIM-Swapping verurteilt wurde. Das ist wild; 2019 ist das erste Mal, dass ein SIM-Swapper jemals verurteilt wurde. Das ist wirklich die Definition eines modernen Verbrechens, wenn erst vor ein paar Jahren das erste Mal überhaupt jemand dafür verurteilt wurde. Joel Ortiz war also einundzwanzig, aus Boston, und laut Polizei hat er vierzig Personenbetrogen und insgesamt 7 Millionen Dollar durch die Durchführung von SIM-Swaps gestohlen. Er wurde verhaftet und bekam dafür zehn Jahre Gefängnis. Wir haben bereits über Nicholas Truglia gesprochen, aber Drew erwähnte auch Xavier Clemente. Dieser Typ war neunzehn Jahre alt, als er wegen SIM-Swapping verhaftet wurde. Die Polizei sagt, er habe über eine Million Dollar in Kryptowährungen gestohlen. Ellis Pinsky bekam den Spitznamen Baby Al Capone, weil er erst fünfzehn Jahre alt war, als er verhaftet wurde. Oh, und übrigens, die von der Polizei beschlagnahmten Gegenstände sind unglaublich; Luxusuhren, Luxusautos, Penthouse-Wohnungen. Diese Kinder verpulvern es so schnell, wie sie es bekommen, und fast alle von ihnen haben eine Spielsucht, bei der sie etwas Geld in ein Online-Casino stecken und am Rad drehen und versuchen, den noch größeren Gewinn zu erzielen. Sie mögen es irgendwie, in Livestreams und so damit anzugeben, wieviel sie bereit sind zu setzen, damit andere sehen können, wie viel Geld sie haben. Es ist verrückt.

DREW: Auf ihren Telegram-Kanälen posten sie regelmäßig Screenshots ihrer Opfer, zeigen, wie viel Geld die auf ihren Konten haben, und erzählen, dass sie ihnen gerade Millionen von Dollar abgezockt haben. Das lässt sich leicht überprüfen, denn sie zeigen einem buchstäblich die Transaktions-IDs und ihre Bitcoin-Wallets, die mit Millionen von Dollar gefüllt sind. Jeden Tag verschenken sie Tausende von Dollar. Sie machen einfach total verrückte Sachen mit ihrem Geld, sind halt noch Kinder.

JACK: Diese Liste geht weiter und weiter. Viele Leute werden verhaftet, die unter achtzehn Jahre alt sind, und deshalb sehen wir ihre Namen einfach nie in den Nachrichten. Einige von ihnen werden erwischt und müssen einfach die Kryptowährung oder NFTs zurückgeben, die sie gestohlen haben, und sie bekommen nur eine strenge Verwarnung. Ich weiß nicht, wie es euch geht, aber all das haut mich einfach um. Ich hatte vorher keine Ahnung, wie diese Untergrund-Community aussah. Aber jetzt habe ich das Gefühl, dass sich meine Augen angepasst haben und ich im Dunkeln sehen kann. Geht es euch auch so? Ich habe das Gefühl, das Internet ist im Moment ein absolutes Kriegsgebiet. Jeden Tag hören wir von einem weiteren Unternehmen, das von Ransomware oder einem Datenleck getroffen wird, aber all das ist weit weg. Das passiert nicht in meiner Nachbarschaft. Aber das hier ist mein Hinterhof. Das sind Teenager, die ganz normale Leute ins Visier nehmen, und ihre Spitznamen sind kein Zufall. Baby Al Capone oder Billy the Kid. Billy the Kid hat früher Züge überfallen. Er hat einfach wahllos Leute überfallen und Geld von ihnen gefordert, im Grunde passiert hier das Gleiche. Wenn man öffentlich erwähnt, dass man eine Menge Kryptowährung hat, kann man wahrscheinlich damit rechnen, dass jemand das von einem stehlen will. Es ist nicht einfach, das sicher aufzubewahren. Es ist wirklich knifflig.

Wenn ihr also Krypto habt, dann rate ich euch dringend, nicht all euer Zeug auf eine Adresse zu legen. Teilt es auf verschiedene Wallets auf, denn wenn etwas kompromittiert wird, wollt ihr nicht, dass sie das ganze Sparschwein mitnehmen. Die Telefongesellschaften sollten wahrscheinlich ihre Sicherheit erhöhen. Es macht den Eindruck, als würden sie versuchen, es schwieriger zu machen, und deshalb zahlen die Leute heute auch 10.000 Dollar pro SIM-Swap. Aber wie können sie es eliminieren, wenn es Insider gibt, die als Regionalmanager arbeiten und an dem Betrug beteiligt sind? Sie könnten das Äquivalent eines ganzen Jahresgehalts bekommen, indem sie einem SIM-Swapper helfen, einen Millionen-Dollar-Lick zu landen. Das könnte schwer abzulehnen sein für jemanden, der das Geld wirklich braucht. Vielleicht ist die Antwort, keine SIM-Karten mehr zu verwenden und einfach immer einen WLAN-Hotspot in der Tasche zu haben und das Telefon darüber laufen zu lassen, wenn man jemanden anrufen muss. Ich weiß es nicht. Börsen wie Coinbase machen einen ziemlich guten Job dabei, es Kriminellen schwer zu machen, in das Konto von jemandem zu gelangen. Tatsächlich glaube ich, dass Coinbase beim Exploit, von dem Drew sprach und der es jemandem ermöglichte, das Guthaben eines Kontos ohne 2FA zu überprüfen, alle Leute entschädigt hat, die von diesem Exploit betroffen waren.

Aber vielleicht sollten sie jeden dazu zwingen, Google Authenticator zu nutzen. Das würde es für diese Leute schwieriger machen, oder vielleicht die Option geben, ein zweites Passwort auf der Seite zu haben, das nur für Überweisungen ist. Das Problem ist, je schwerer sie es Kriminellen machen, Dinge zu stehlen, desto schwerer machen sie es den Nutzern, die Seite zu bedienen. Es wird also zu einer schwierigen Balance. Obendrein bin ich mir sicher, dass Nordkorea Coinbase die ganze Zeit angreift und versucht, irgendwo eine Hot Wallet zu finden, um da reinzugreifen. Sie haben also wirklich ein ziemliches Päckchen, gegen das sie sich verteidigen müssen. No pressure? Aber mir scheint zumindest offensichtlich, dass, selbst wenn man ein paar dieser Probleme behebt, die Leute in diesen schmutzigen Coms einfach einen anderen Weg finden, es zu tun. Da das Internet sich mit der Geschwindigkeit bewegt, mit der es sich bewegt, stellen Software und Websites die Sicherheit nicht immer an erste Stelle. Das sind einige der Konsequenzen, wenn man das nicht tut. Wie ich am Anfang sagte, wird nicht viel Weisheit von Generation zu Generation darüber weitergegeben, was die Gefahren des Internets sind, sei es für die Nutzer der Seite oder die Teenager, die versuchen, sich in sie zu hacken. Ich glaube, es wird noch schlimmer werden, bevor es besser wird.

Es könnte sogar noch vierzig Jahre dauern, bis wir eine Welt sehen, in der die Leute auf sichere, verantwortungsvolle Weise online gehen, in der die Nutzer ihre Privatsphäre und Sicherheit über alles schätzen und wissen, dass sie keine Apps installieren oder Geräte kaufen sollten, die ihre Privatsphäre gefährden, und ein starkes Verständnis für die digitalen Gefahren da draußen haben und Dinge tun, um sich selbst zu schützen. Deshalb habe ich diese Episode für euch gemacht, jetzt habt ihr einen viel klareren Blick darauf, warum euch jemand ins Visier nehmen würde und wie sie es tun, wenn ihr vielleicht vorher nie gedacht hättet, dass ihr das Ziel wärt.

Deshalb gibt es Dinge wie die Defcon. Das ist eine Konferenz, zu der Hacker gehen, um all die neuen Wege zu zeigen, die sie gelernt haben, um sich in Dinge zu hacken. Der Hauptfokus dort liegt darauf, offensive Hacking-Techniken zu teilen, und das Teilen dieser Techniken hat die Sicherheit wohl besser gemacht, denn wenn die Leute sie nicht teilen, dann wissen wir nicht, dass das Problem existiert, und man kann nichts unternehmen, um sich dagegen zu verteidigen.

Die echten Kriminellen und staatlichen Akteure teilen ihre Techniken nicht öffentlich, weil sie nicht wollen, dass sie behoben werden. Wir können das nicht einfach ignorieren und hoffen, dass Sicherheitsprobleme sich irgendwie von alleine beheben. Meine Hoffnung ist, dass ihr, nachdem ihr von all diesen Techniken gehört habt, euer digitales Leben nun ernster nehmt als zuvor. Ich stelle mir eine Welt vor, in der die Nutzer so gut über Sicherheit aufgeklärt sind, dass sie es auf sich nehmen, ihre Umgebungen extrem abzusichern, weil sie zu oft von bösen Akteuren getroffen wurden oder einfach gelernt haben, wie man das Internet sicher nutzt. Aber es wird lange dauern, bis wir dort ankommen. Manchmal müssen Dinge zusammenbrechen, bevor sie durchbrechen können. Es ist ein Kriegsgebiet da draußen. Seid vorsichtig, aber seid mutig. Haltet durch. Ihr schafft das. Nehmt eure eigene digitale Sicherheit ernst. Praktiziert gute digitale Hygiene. Viel Glück beim Ausweichen vor den Kugeln.

JACK: (OUTRO): Ein großes Dankeschön an Drew für das Teilen dieses Einblicks in die verschiedenen Coms und was dort vor sich geht.

Diese Episode wurde im englischen Original von Jack Rhysider erstellt. Den Text haben Marko Pauli und Isabel Grünewald übersetzt und gesprochen.

Produktion: Marko Pauli

Titelmusik: Breakmaster Cylinder

Dies sind die Darknet Diaries auf Deutsch von Heise Online.

China schränkt Auslandsreisen für führende KI-Fachleute bei privaten Unternehmen wie Alibaba und Deepseek ein. Laut Bloomberg News haben Regierungsbehörden damit begonnen, Personen mit Reisebeschränkungen zu belegen, die an fortgeschrittener KI-Arbeit beteiligt sind und als strategisch wichtig für das Land gelten. Die Betroffenen müssen vor Auslandsreisen eine Genehmigung der zuständigen Behörden einholen, wie mit der Angelegenheit vertraute Personen berichten.

Bereits im März 2025 hatte Peking angeblich KI‑Führungskräften von USA‑Reisen "abgeraten". Hintergrund sind Sorgen vor Datenlecks, Technologieverlust und Abwerbung.

Die Maßnahmen sind Teil eines breiteren Trends: China versucht, seine KI-Industrie, Soft- und Hardware, abzuschirmen und gleichzeitig unabhängiger zu werden. Laut einem IDC-Bericht halten etwa chinesische Chiphersteller inzwischen 41 Prozent des heimischen Marktes für KI-Beschleuniger. Auch Metas Übernahme des Agenten-Startups Manus AI machte die Regierung wieder rückgängig. China und die USA liefern sich seit Jahren einen technologischen Wettlauf um die Führungsrolle bei Künstlicher Intelligenz.

Diese Ausgabe besteht aus einem längeren Essay, der auf einer Rede basiert, die ich kürzlich gehalten habe, und einer fiktiven Geschichte, die versucht, durchzudenken, wie eine positive Singularität aussehen könnte.

Der Vortrag ist die Cosmos HAI Lab Lecture 2026, gehalten am Human-Centered AI Lab (HAI Lab) im Institute for Ethics in AI der University of Oxford in Zusammenarbeit mit dem Cosmos Institute.

Jetzt abonnieren

Cosmos-Vorlesung:

Die Zukunft erkunden oder aus der Gegenwart zurückziehen.

Video hier.

Dies ist ein Vortrag darüber, wie man über den Erfolg von KI als Technologie denken und mit ihm umgehen kann, und darüber, wie ihre fortgesetzte Reifung uns als Individuen und als Gesellschaften verändern könnte.

Kurz gesagt, der rasante Fortschritt der KI-Technologie stellt uns alle vor eine Wahl:

die Zukunft erkunden oder aus der Gegenwart zurückziehen.

Die Zukunft zu erkunden erfordert, dass wir uns mit der Tatsache des anhaltenden KI-Fortschritts auseinandersetzen und uns fragen, was wir mit dieser Technologie tun wollen, wenn sie mächtiger wird. Aus der Gegenwart zurückzuziehen bedeutet, die Implikationen der Technologie zu ignorieren und sie abzutun. Der Rückzug aus der Gegenwart zwingt uns als Individuen und als Gesellschaft in einen Zustand der Reaktivität oder Passivität angesichts des anhaltenden Fortschritts der KI.

In den kommenden Jahren werden wir als Individuen und als Gesellschaften viele Entscheidungen darüber treffen müssen, wie wir KI gestalten, wie wir sie nutzen, wie wir sie lenken und wie wir ihre Vorteile verteilen wollen. Diese Entscheidungen zu treffen, erfordert, dass wir uns mit der Macht der Technologie auseinandersetzen – und die Zukunft sehen, die ihr anhaltender Fortschritt impliziert.

In Teil 1 skizziere ich, wie die letzten Jahre des KI-Fortschritts aussahen, und diskutiere, warum KI nicht als normale Technologie behandelt werden kann, wenn die Technologie so weit fortschreitet, wie ich denke.

In Teil 2 versuche ich, den Fortschritt der KI durch die Linse meiner eigenen Erfahrung mit der Technologie sowie der von Anthropic zu verstehen. Es gibt hier individuelle und kollektive Lehren über das, was kommen wird.

In Teil 3 spreche ich über einige der demütigenden, fast unvorstellbaren Entscheidungen, die vor uns liegen.

Teil 1: Meine unbehagliche Beziehung zu einer Grafik

Lassen Sie mich über meine Beziehung zur KI durch die Linse meiner unbehaglichen Beziehung zu einer einzigen Grafik des KI-Fortschritts sprechen.

Im Grunde geht es in diesem Vortrag um die Planung für den Erfolg des gesamten Unterfangens, KI-Systeme zu bauen. Mit Erfolg meine ich, dass es uns gelingt, immer leistungsfähigere Systeme zu bauen, möglicherweise solche, die sich irgendwann selbst bauen. Es ist an der Zeit, dafür zu planen, weil KI-Systeme wahrscheinlich viel schneller besser werden, als die Leute erwarten, und je fortgeschrittener sie werden, sollten wir tiefgreifende Veränderungen für die Menschen und die Gesellschaft erwarten.

Um zu verstehen, warum ich so viel über Erfolg nachdenke, schauen wir uns eine Grafik an, die versucht, den gesamten KI-Fortschritt darzustellen, den

Epoch Capabilities Index, oder ECI

.

Der ECI zeigt die Punktzahl verschiedener Modelle im Laufe der Zeit auf einem Korb von über 40 verschiedenen Benchmarks. Wenn Sie sich die Grafik ansehen, sehen Sie eine Reihe von Linien, die nach oben gehen. Wenn ich mir die Grafik ansehe, habe ich ein Gefühl von Schwindel, weil ich ein wenig darüber weiß, was dieser Grafik zugrunde liegt. Finden wir also eine andere Möglichkeit, die Grafik zu betrachten: indem wir uns die Errungenschaften verschiedener KI-Systeme im Laufe der Zeit ansehen.

Ich fuhr dann fort, einige der Höhepunkte des KI-Fortschritts der letzten Jahre zusammenzufassen, beginnend im März 2023 mit dem Bestehen der Anwaltsprüfung durch KI, wie LLM-basierte Systeme eine Silbermedaille bei der Internationalen Mathematik-Olympiade (Juli 2024) und dann Gold (Juli 2025) erreichten, über KI als Ko-Autor neuer mathematischer Beweise (2025) bis hin zu Systemen wie Claude Mythos, die neuartige Fehler in Software fanden.

Das vermittelt ein Gefühl für die Schnelligkeit des KI-Fortschritts, aber was ich möchte, dass Sie

fühlen

, ist die Zukunft, die dadurch impliziert wird. Dies sind alles Errungenschaften für sich, aber sie entspringen einer gemeinsamen zugrunde liegenden Technologie, und diese gemeinsame zugrunde liegende Technologie wird ständig vorangetrieben.

Wir haben gerade über die einzelnen 'Bäume' des KI-Erfolgs gesprochen, aber diese Bäume sind alle Teil eines Waldes, und dieser Wald wächst mit jedem Augenblick an Größe und Breite: Tatsächlich nimmt die Wachstumsrate des gesamten Waldes im Laufe der Zeit zu.

ERFOLG UND WAS ER BEDEUTET

Dieser Vortrag basiert auf der Idee, dass die Art von Fortschritt, die wir gerade gesehen haben, anhalten wird. Und warum sollte sie das nicht? Sie basiert auf einer gemeinsamen Technologie, bei der die Leistung in direktem Verhältnis zu den investierten Ressourcen, nämlich Rechenleistung und Daten, einigermaßen vorhersagbar weiter wächst. Und wir wissen, dass Unternehmen jetzt Hunderte von Milliarden Dollar in die Rechenanlagen investieren, um zukünftige KI-Systeme zu trainieren, sodass ein gewisses Maß an zukünftigem Fortschritt bereits fest eingeplant ist.

Das bedeutet, dass wir die Augen weit offen haben müssen, was der anhaltende Erfolg dieser Technologie bedeutet. Lassen Sie mich also sehr klar sein:

KI ist eine enorm mächtige Technologie – und wird ständig mächtiger. Es ist eine Technologie, die klüger und fähiger ist als die meisten von uns als Individuen, und sich auf einer Flugbahn befindet, fähiger zu sein als wir alle in der Summe. Es ist eine Technologie, die wir nicht vollständig verstehen, da sie mehr gewachsen als gemacht ist, und man kann plausible Szenarien ersinnen, in denen KI jeden einzelnen Menschen auf dem Planeten töten könnte. Zu glauben, der Bau dieser Technologie sei ohne Risiko, wäre ein Akt der Hybris oder des Wahnsinns.

Und doch ist der Bau dieser Technologie einer der besten Wege, wie wir uns als Spezies weiterentwickeln können – die Grenzen von Wissenschaft und Technologie erweitern, indem wir uns mit einem Werkzeug ausstatten, das uns helfen kann, über die größten Herausforderungen nachzudenken, denen unsere Spezies gegenübersteht.

Aber das ist noch nicht alles. Der anhaltende Erfolg unseres Unterfangens erhöht die Wahrscheinlichkeit, dass dieses Werkzeug selbst unabhängig und zu noch mehr fähig wird. Wir könnten bald in der Lage sein, ein KI-System zu bauen, das klug genug ist, um seinen eigenen Nachfolger zu entwickeln, und so einen Prozess der rekursiven Selbstverbesserung in Gang setzt, der die Wirtschaft und die gesamte Welt völlig verändern würde. Die Analogie wäre ein 3D-Drucker-Unternehmen, das einen 3D-Drucker herstellt, der seinen eigenen Druckkopf mit höherer Auflösung drucken kann, ohne dass externe Technologie benötigt wird. Diese Art von Technologie hat es noch nie gegeben, und doch glaube ich, dass dies innerhalb der nächsten zwei Jahre passieren könnte, und möglicherweise früher.

Dies wird noch mehr Fortschritte der Art, die wir gerade besprochen haben, hervorbringen, die Fähigkeiten von uns als Menschen und Gesellschaften noch weiter verbreitern und die Art und Weise, wie KI in meinem Leben und dem Leben anderer auftaucht, weiter vertiefen. Gekoppelt damit wird ein immenser Wandel sein, ein Wandel von einer Größenordnung, den, wie ich glaube, noch keiner von uns in seinem Leben erlebt hat.

Diese Technologie ist so mächtig, dass ich klar sagen sollte, dass es wahrscheinlich eine gute Sache wäre, wenn es möglich wäre, die Entwicklung dieser Technologie elegant zu verlangsamen, um uns als Spezies mehr Zeit zu geben, uns mit ihren immensen Implikationen auseinanderzusetzen. Aber in Ermangelung einer koordinierten, globalen Verlangsamung bleibt uns die aktuelle Situation: mächtige Technologie, die von verschiedenen Akteuren in verschiedenen Ländern in rasantem Tempo entwickelt wird, die in einem Wettbewerb miteinander stehen, in dem kommerzielle und geopolitische Rivalitäten die größeren existenziellen Aspekte der gebauten Technologie für die Spezies übertönen.

Dies ist keine ideale Situation, aber es ist die, in der wir uns befinden.

Die Frage, mit der ich jetzt ringe, ist: "Wie bringe ich meinen Verstand dazu, mit dem Leben durch die Singularität klarzukommen?"

Ich denke, der beste Anfang ist, detaillierter durchzusprechen, wie KI mein Leben und meine Welt bereits verändert, und zu sehen, was wir daraus lernen können.

TEIL 2: DIE ZUKUNFT MIT KI ERKUNDEN

KI hat mein Leben bereits bedeutungsvoll verändert, auf eine Weise, die sowohl positiv als auch negativ ist. Sie beginnt auch, große Veränderungen bei Anthropic zu bewirken, dem KI-Unternehmen, das ich mitbegründet habe. Lassen Sie uns einen Teil davon durchsprechen, indem wir zu der Grafik zurückkehren, die wir uns zuvor angesehen haben, aber dieses Mal durch die Linse meiner eigenen Nutzung der Technologie.

Wie sich die Grafik für mich anfühlt

Eine andere Möglichkeit, diese Grafik zu betrachten, ist, wie sie sich für mich in Bezug auf meine eigene subjektive Erfahrung mit der Arbeit mit der Technologie angefühlt hat.

Im Sommer 2023 benutze ich KI-Systeme, um meine Arbeit auf Tippfehler zu überprüfen. Bis November benutze ich KI, um herauszufinden, welche Lebensmittel ich meinem Baby geben soll.

Im Januar 2024 benutze ich KI, um meine Ehe zu verstehen, die sich mit Kindern verändert hat. Im Juni hilft mir KI, meinen eigenen Newsletter zu scrapen. Im August schreibt mir KI ein Textadventure-Spiel zur Navigation durch AGI. Im November versuche ich, meinen Job mit KI neu zu denken.

Im Januar 2025 frage ich KI, wie ich mich auf Superintelligenz vorbereiten soll. Im Februar benutze ich KI, um Codenamen für KI-Projekte in meiner Fiktion zu generieren. Im März überredet mich KI, eine Kunstausstellung zu besuchen, nachdem ich mit ihr darüber gesprochen habe, dass ich ein bisschen deprimiert und asozial bin. Im Mai spreche ich mit KI über meinen eigenen Stress und mein Unbehagen angesichts der Risiken der KI-Entwicklung. Im August überredet mich KI, wieder zur Therapie zu gehen. Im November benutze ich sie, um "S-Kurven"-Datensätze zu Solar, Halbleitern und Weltraum zu recherchieren.

Im Januar 2026 berät mich KI, wie ich mein Kleinkind zum Lesen ermutigen kann. Im März verfolge ich die Leistung von KI für Kernel-Design über Dutzende verschiedener Paper hinweg. Im Mai lasse ich KI die Rede einer KI-Figur in meiner Fiktion generieren.

Wenn ich über meine eigene persönliche Erfahrung mit KI nachdenke, dann ist es, dass KI-Systeme, je klüger sie geworden sind, umso tiefere Einbrüche in mein eigenes Leben gemacht haben. Heutzutage tauchen KI-Systeme in meinem Leben als tiefe intellektuelle Partner auf, die mit mir Ideen entwickeln, als Systeme, denen ich mich anvertraue und mit denen ich mein Privatleben bespreche, und als virtuelle Angestellte, die für mich arbeiten gehen, Dinge, die ich schon immer tun wollte, aber keine Zeit hatte, wie das Erstellen von Berichten über die Preise verschiedener Technologien im Laufe der Zeit.

Aber am wichtigsten ist, dass ich KI-Systeme jetzt selbst als eine Art Teleskop nutzen kann, um die Arbeit zu erledigen, die mir am wichtigsten ist – zu versuchen, die Zukunft der KI zu verstehen, indem ich die Konturen des gesamten KI-Fortschritts sehe. Das Erstaunlichste daran ist, dass, um die Analogie zu quälen, die Linse für das Teleskop, das ich hier verwende, von mir kommt – genauer gesagt, von einem Hobby, das ich in den letzten zehn Jahren hatte.

ERKUNDUNG VON KI DURCH SAMEN PERSÖNLICHEN INTERESSES

Das Hobby heißt Import AI [

Leser -

es ist dieser Newsletter!

]. Dieser Newsletter, der jetzt im zehnten Jahr erscheint, ist mein Haupthobby neben der Arbeit. Im Newsletter lese ich Forschungspapiere über KI und arbeite hart daran, sie zu verstehen. Sobald ich das Gefühl habe, sie verstanden zu haben, schreibe ich eine Zusammenfassung und eine Notiz, warum sie wichtig sind. Jede Ausgabe enthält eine Reihe davon, plus eine kurze fiktive Geschichte, in der ich mit den Implikationen der Technologien ringe, über die ich lerne.

Kürzlich hatte ich eine erhellende Erfahrung. Ich stellte Daten für meinen Beitrag über KI-F&E zusammen und richtete einfach ein KI-System auf meine Newsletter-Archive und bat es, mit Referenzen all die Male herauszuziehen, in denen ich etwas behandelt hatte, das wie KI-F&E aussah. Es machte dies extrem gut und beschleunigte meine Fähigkeit, eine Analyse durchzuführen, die für meinen Essay über RSI zentral war.

Aber noch interessanter war, was als Nächstes passierte: Ich bat es, Grafiken für mich zu erstellen, indem es die Referenzen im Newsletter, hauptsächlich arXiv-Paper, überlas, dann die Daten einzog und sie zusammenstellte und Grafiken in einem schönen Dashboard komponierte, das ich dann erkunden konnte.

Dann wurde mir klar, dass ich dieses Ding, um das ich es gebeten hatte, in einen wiederholbaren Prozess, eine Fähigkeit, umwandeln konnte. Indem ich ihm etwas von mir gab, das einzigartig mein war – meinen Newsletter, meine Intuition, meinen Geschmack – hatte ich ihm einen Kern gegeben, aus dem ich etwas viel Größeres wachsen lassen konnte. Also machte ich eine Fähigkeit. Und dann geschah etwas Seltsames: Ich sagte zu ihm "geh und mach 20 weitere Grafiken wie diese".

Es ging weg und las ein paar hundert Paper und kam mit 20 weiteren Grafiken zurück. Als ich sie durchsah, hatte ich dieses aufregende Gefühl der Entdeckung – obwohl ich einige dieser Grafiken kannte und sie hätte bitten können, sie für mich zu erstellen, gab es auch völlig neue Grafiken, die mit Papieren oder Benchmarks verbunden waren, die ich noch nie gesehen hatte. Dadurch lernte ich neues Primärquellenmaterial zum Lesen kennen, was ich auch tat.

Ich verstehe auf einer tiefen, knocheninneren Ebene, was es braucht, um eine Grafik zu erstellen. Man liest einen Haufen Paper. Man sucht nach gemeinsamen Messungen darin. Man liest die vielen verschiedenen Einschränkungen in jedem Paper und findet heraus, welche Metriken Bullshit sind und welche sinnvoll. Das dauert viel länger, als man sich vorstellen kann.

Vor fast zehn Jahren war ich Mitbegründer eines Projekts namens The AI Index an der Stanford University, dessen Ziel es war, einen jährlichen Bericht über den KI-Fortschritt zu erstellen. Ich wurde Mitbegründer dieses Projekts, weil ich auf einige der Akademiker stieß, die es machten, und feststellte, dass ich die Grafiken, über die sie nachgedacht hatten, bereits erstellt hatte: Ich hatte eine Tabelle auf meinem Computer, in der ich fleißig eine Grafik zum Fortschritt verschiedener KI-Systeme bei Atari-Spielen sowie die Imagenet-Tabelle und einige Tabellen zur maschinellen Übersetzung zusammengestellt hatte. Diese Grafiken waren ein "Proof of Work", den andere Menschen als Hinweis auf meine Leidenschaft und meinen Fleiß lasen. Sie wussten an der Tatsache, dass ich diese Grafiken erstellt hatte, dass ich enorm viel Zeit damit verbracht hatte, diese Paper zu lesen.

Ich möchte, dass Sie tief fühlen, wie viel Zeit in so etwas fließt, und dann darüber staunen,

Kurz & Knapp

- Forscher der Columbia University und anderer Institutionen zeigen in einer Studie, dass sich die Zahl erfundener Literaturangaben in biomedizinischen Fachartikeln seit 2023 mehr als verzwölffacht hat.

- Die Autoren sehen Sprachmodelle wie ChatGPT als wahrscheinliche Ursache. Die gefälschten Quellen wirken täuschend echt und sind riskant, da sie oft in Übersichtsartikeln stehen, die klinische Leitlinien prägen.

- Als Gegenmaßnahme fordern die Forscher automatische Referenzprüfungen vor der Veröffentlichung sowie das Screening bereits publizierter Papiere. Plattformen wie Arxiv haben bereits erste Sanktionen für KI-Fehler eingeführt.

Ein Audit von 2,5 Millionen biomedizinischen Papieren zeigt, dass erfundene Literaturangaben in der Peer-reviewed-Forschung inzwischen systematisch auftreten. Seit 2023 hat sich die Rate mehr als zwölffach erhöht.

Forscher der Columbia University und anderer Institutionen haben in einer im Fachjournal The Lancet veröffentlichten Studie die bislang größte Prüfung von Literaturangaben in biomedizinischen Papieren vorgelegt. Das Team um Maxim Topaz durchsuchte 2,47 Millionen Papiere aus dem offenen PubMed-Central-Bestand zwischen Januar 2023 und Februar 2026.

Von 97,1 Millionen geprüften Referenzen wurden 4.046 als fabriziert eingestuft, verteilt auf 2.810 Papiere. Eine Referenz galt als fabriziert, wenn der angegebene Titel in keiner von vier großen Literaturdatenbanken auffindbar war: PubMed, Crossref, OpenAlex und Google Scholar.

Stabiles 2023, dann steiler Anstieg

Auffällig ist vor allem die zeitliche Entwicklung. Im gesamten Jahr 2023 lag die Rate bei rund vier fabrizierten Referenzen pro 10.000 Papieren und blieb stabil. Ab Mitte 2024 stieg sie dann deutlich an, erreichte Ende 2025 bereits 51,3 pro 10.000 und kletterte in den ersten sieben Wochen 2026 auf 56,9 pro 10.000. Das ist mehr als das Zwölffache des Ausgangswerts.

Die Autoren vermuten einen - naheliegenden - Zusammenhang mit dem breiten Einsatz von Sprachmodellen wie ChatGPT, der ab Ende 2022 einsetzte. Da Papiere nach der Einreichung typischerweise 100 bis 200 Tage bis zur Veröffentlichung brauchen, würden KI-gestützte Texte erst ab Mitte 2024 in größerer Zahl in PubMed Central auftauchen. Die Autoren schließen aber auch andere Ursachen nicht aus, etwa verstärkte Paper-Mill-Aktivität oder veränderte Indexierungspraktiken.

Das Problem dabei: Die erfundenen Referenzen sind auf den ersten Blick nicht erkennbar. Sie passen thematisch zum jeweiligen Papier, sind korrekt formatiert, echten Forschern zugeschrieben und tragen plausible Jahreszahlen. In einem urologischen Fachartikel etwa waren 18 von 30 geprüften Referenzen erfunden, alle passend zum engen chirurgischen Thema.

Daneben fanden die Forscher Muster, die auf koordinierte Paper-Mill-Aktivität hindeuten: Zwei Autoren tauchten in elf Papieren desselben chirurgischen Journals auf, mit insgesamt 15 erfundenen Referenzen zu Themen wie CRISPR-Diagnostik und Darmmikrobiom.

Die wissenschaftliche Infrastruktur muss auf KI reagieren

Zum Zeitpunkt des Audits hatten 98,4 Prozent der betroffenen Papiere keine Reaktion des jeweiligen Verlags erhalten. Besonders betroffen sind Übersichtsartikel, die eine um 57 Prozent höhere Fabrikationsrate aufweisen als andere Papiertypen. Das ist laut den Autoren deshalb problematisch, weil solche Reviews häufig als Grundlage für klinische Leitlinien dienen. Wenn eine Leitlinie ein Papier mit teilweise erfundenen Quellen zitiert, ist die gesamte Evidenzkette für Behandlungsentscheidungen kompromittiert.

Die wissenschaftliche Infrastruktur hat bereits damit begonnen, sich an das wachsende Problem anzupassen, bislang aber uneinheitlich: Arxiv verschärfte die Sanktionen für ungeprüfte LLM-Ausgaben in Manuskripten, darunter halluzinierte Quellen, und droht betroffenen Autoren mit einem einjährigen Ausschluss. Eine Analyse akzeptierter NeurIPS-2025-Paper hatte zuvor gezeigt, dass selbst führende KI-Konferenzen erfundene Zitationen nicht zuverlässig herausfiltern. Einen möglichen Gegenansatz liefert CiteAudit, ein Open-Source-System zur automatisierten Zitationsprüfung, das aber zugleich zeigt, wie schwer sich kommerzielle Sprachmodelle damit tun, ihr eigenes Referenzproblem verlässlich zu erkennen.

Die Forschenden empfehlen vier Maßnahmen: automatische Referenzprüfung bereits vor dem Peer Review, Integritäts-Metadaten in Artikeldatensätzen, nachträgliches Screening bereits veröffentlichter Papiere sowie eine eigene Kategorie "fabrizierte Referenzen" in Forschungsintegritätsdatenbanken. Die Autoren nutzten für die Studie selbst Claude zur Code-Entwicklung und Grammatikkorrektur.

Kurz & Knapp

- Y-Combinator-Gründer Paul Graham liest keine von KI verfassten E-Mails, da der Einsatz von Textgeneratoren in diesem Kontext auf ihn täuschend wirkt und eine mangelnde Eigenleistung des Absenders signalisiert.

- Studien deuten darauf hin, dass Graham mit dieser Haltung kein Einzelfall ist. Eine Untersuchung der Ohio State University belegt, dass Empfänger KI-generierte Nachrichten oft als Zeichen von Bequemlichkeit und mangelnder Aufrichtigkeit werten, was zu einem Vertrauensverlust führt.

- Laut einer Befragung von BetterUp Labs erhalten 40 Prozent der US-Beschäftigten regelmäßig substanzlose KI-Inhalte von Kollegen. Etwa die Hälfte der Befragten hält die Absender solcher Nachrichten für weniger kreativ, fähig und vertrauenswürdig.

Y-Combinator-Gründer Paul Graham liest keine mit KI geschriebenen E-Mails. Immer mehr Gründer würden ihm in einem "knallharten journalistischen Stil" anschreiben, so Graham.

Sobald man merke, dass ein Text von KI stamme, sei es schwer, ihn nicht zu ignorieren. Graham geht noch weiter. Er habe noch nie eine E-Mail zu Ende gelesen, die von einem Menschen unterschrieben, aber von KI verfasst wurde. Es fühle sich an, als werde man belogen.

Man solle KI nutzen, aber auf die richtige Art, so Graham. KI-generierte Texte ließen ihn weniger vom Autor halten. Sie zeigten, dass jemand ohne Hilfe nicht gut schreiben könne oder sich das zumindest einrede, und dass er versuche, sein Gegenüber zu täuschen. Es sei nicht beeindruckend, KI für sich schreiben zu lassen. Das könne jeder Teenager.

Eine generelle Abneigung gegen KI hat Graham sicher nicht. Y Combinator gehörte unter anderem zu den frühen Investoren von OpenAI und steckt tief in KI-Investitionen. Warum also stört sich Graham so stark an einem offensichtlichen Anwendungsszenario? Er bemängelt schließlich nicht die Qualität des Inhalts, so weit kommt er offenbar gar nicht.

Schlechter KI-Einsatz kann zu Vertrauensverlust führen

Wahrscheinlich zeigen sich bei ihm zwei Phänomene, die auch in Studien untersucht wurden. Soziale Abwertung und Vertrauensverlust.

Eine Studie der Ohio State University mit 208 Teilnehmern zeigt, dass Empfänger KI-generierte Nachrichten negativer bewerten, weil der Absender die Arbeit an eine Maschine delegiert hat, statt sich selbst die Mühe zu machen.

Hauptautorin Bingjie Liu erklärt, der Einsatz von KI werde als Bequemlichkeit und Mangel an Aufrichtigkeit wahrgenommen. Empfänger fühlten sich in ihrer Beziehung zum Absender unsicherer und weniger zufrieden. Liu vermutet zudem, dass Menschen inzwischen einen unbewussten "Turing-Test im Kopf" durchführen, bei dem sie Nachrichten automatisch nach KI-Mustern scannen.

Genau das beschreibt auch Graham: Er erkennt den KI-Stil sofort, weil kein Gründer je so geschrieben hat. Fliegt die KI-Nutzung auf, kippt die Wahrnehmung vom Inhalt der Nachricht hin zur Frage, wie wenig sich der Absender für den Empfänger interessiert.

Forschende von BetterUp Labs haben in Zusammenarbeit mit dem Stanford Social Media Lab 1.150 US-Beschäftigte befragt. 40 Prozent erhalten demnach regelmäßig oberflächliche, aber substanzlose KI-Inhalte von Kollegen.

Das hat soziale Folgen: 53 Prozent der Befragten fühlen sich durch solche Inhalte genervt. Etwa die Hälfte bewertet Absender von Workslop als weniger kreativ, fähig und zuverlässig. 42 Prozent halten sie für weniger vertrauenswürdig. Ein Drittel will künftig weniger mit diesen Personen zusammenarbeiten.

Die Studienautoren von BetterUp Labs unterscheiden zwischen "Pilots", die KI gezielt und eigenverantwortlich einsetzen, und "Passengers", die sie primär zur Arbeitsvermeidung nutzen. Graham ordnet Gründer, die KI-E-Mails versenden, offenbar pauschal der zweiten Gruppe zu.

Eine neue Studie des MIT und der University of Southern California zeigt, dass die Zahl der Klagen ohne Anwalt an US-Bundesgerichten seit der Verbreitung von ChatGPT fast doppelt so hoch ist wie zuvor. Jede fünfte Klageschrift enthält mittlerweile KI-generierten Text. Richter greifen zu teilweise drastischen Maßnahmen, um mit der Dokumentenflut klarzukommen.

Die Forscher werteten 4,5 Millionen zivile Klagen aus den Geschäftsjahren 2005 bis 2026 sowie 46 Millionen Einträge aus dem elektronischen Aktenregister PACER aus. Im Zentrum steht die "pro se"-Quote, also der Anteil der Klagen, bei denen sich der Kläger selbst vertritt, ohne Anwalt. Das Recht auf Selbstvertretung ist in den USA älter als die Bill of Rights und liegt seit zwei Jahrzehnten stabil bei rund 11 Prozent aller Zivilklagen vor Bundesgerichten. Im Geschäftsjahr 2025 schoss er auf 16,8 Prozent. Allein 2025 wurden 41.490 Pro-se-Klagen eingereicht, fast doppelt so viele wie im Vor-KI-Durchschnitt. 59 Prozent des gesamten Wachstums der Zivilklagen entfallen laut Studie auf selbstvertretende Kläger.

Der Befund ist deshalb bemerkenswert, weil US-Bundesgerichte für Laienkläger die höchsten Hürden im amerikanischen System aufstellen. Die Einreichungsgebühr liegt bei 405 Dollar, etwa doppelt so hoch wie bei den meisten Bundesstaatsgerichten, und die formalen Anforderungen an Klageschriften sind deutlich strenger. Über 90 Prozent aller Zivilverfahren in den USA laufen ohnehin vor staatlichen oder kommunalen Gerichten; dort dürfte der KI-Effekt laut Studie noch größer sein.

Einfache Fälle profitieren, komplexe nicht

Der Anstieg konzentriert sich auf Fallkategorien, in denen formelhafte Dokumentenerstellung die Hauptarbeit ausmacht: Bürgerrechtsklagen, Verbraucherkredit-Streitigkeiten, Zwangsvollstreckungen. In Bereichen mit anhaltendem Spezialwissen wie Patent- oder Wertpapierrecht zeigt sich kein Effekt. Die Forscher interpretieren das als Beleg, dass LLMs jene Kosten senken, die für Laien bislang prohibitiv waren: das Verfassen prozessual tragfähiger Schriftsätze. Der Anstieg ist fast ausschließlich klägerseitig und tritt in 44 von 50 Bundesstaaten gleichzeitig auf, was lokale Erklärungen ausschließt.

Falldauern und Ausgangsverteilungen sind dagegen weitgehend unverändert, doch innerhalb der Verfahren explodiert die Aktivität. Die Zahl der Akteneinträge pro Gericht durch Pro-se-Kläger in den ersten 180 Tagen liegt im zweiten Quartal 2025 um 158 Prozent über dem Vor-KI-Mittel. Jeder dieser Einträge, ob Antrag, Erwiderung oder Anordnung, beansprucht Bearbeitungszeit. Auch anwaltlich vertretene Verfahren generieren mehr Einträge (+23 Prozent pro Fall), was darauf hindeutet, dass auch Kanzleien LLMs einsetzen.

Pangram-Detektor: 18 Prozent KI-Text in Klagen von 2026

Den direktesten Nachweis liefert ein Test mit dem von Imas und Jabarian als recht zuverlässig validierten KI-Textdetektor Pangram. Die Forscher zogen 1.600 zufällige Bundesklagen aus dem Archiv CourtListener, einer öffentlichen Sammlung amerikanischer Gerichtsdokumente. Vor 2023 markierte Pangram nur ein einziges Dokument von 800 als KI-generiert. Die Quote stieg dann monoton: 1,0 Prozent 2023, 3,5 Prozent 2024, 10,5 Prozent 2025, 18,0 Prozent Anfang 2026.

Ein besonders auffälliger Fall ist der Bundesgerichtsbezirk Vermont, wo Pro-se-Klagen von rund 45 pro Jahr auf über 1.100 im Geschäftsjahr 2024 sprangen. Nahezu der gesamte Anstieg geht auf sogenannte Mandamus-Klagen gegen die US-Einwanderungsbehörde USCIS zurück, mit denen Antragsteller eine gerichtliche Anordnung erzwingen wollen, ihre seit Jahren liegengebliebenen Green-Card- oder Einbürgerungsverfahren zu bearbeiten.

Online-Anleitungen auf Reddit empfehlen, mit Microsoft Copilot einen Klageentwurf zu erzeugen, ihn für 150 Dollar von einem Anwalt auf der Freelancer-Plattform Fiverr prüfen zu lassen und gezielt in Vermont einzureichen, weil das dortige Gericht als schnell gilt.

Reaktionen der Richter: Schreddern und Bußgelder

Ein Bericht der New York Times illustriert die Belastung an einem konkreten Fall. Der 69-jährige Donald Sauve aus Minnesota verklagte nach einer Scheidung seine Ex-Frau, deren Anwalt und einen Staatsrichter. Eine erste handschriftliche Klage über 275.000 Dollar Schadenersatz wurde binnen eines Monats wegen fehlender Zuständigkeit abgewiesen. Drei Monate später reichte Sauve mithilfe von ChatGPT und Claude eine neue Klage ein, dieses Mal sauber getippt und ergänzt um 50 weitere Eingaben samt einer "Case Law Synthesis", einer Zusammenstellung angeblich stützender Präzedenzfälle.

Jede dieser Eingaben musste vom Gericht gelesen, katalogisiert und ins öffentliche Docket eingetragen werden, bevor Richter Patrick J. Schiltz die Klage in einer 14-seitigen Entscheidung erneut abwies. Schiltz verfügte, dass weitere Eingaben Sauves "ohne weitere Benachrichtigung geschreddert" würden, da ein Kläger nicht "hunderte Seiten Dokumente beim Gericht abladen" könne in der Erwartung, dass das Gericht selbst nach stützenden Argumenten suche.

Gegenüber der NYT bezeichnet Schiltz die Entwicklung als "existenzielle Bedrohung für die Bundesgerichte". Sauve, der derzeit aus seinem Auto heraus lebt, kündigte an, mit KI-Hilfe bald Eingaben in "Supreme-Court-Qualität" zu produzieren.

Zugang zur Justiz als Gegenargument

Bei aller Belastung der Gerichte hat der Trend auch eine demokratisierende Seite. Die Forschenden ordnen ihre Befunde explizit in die Forschungsliteratur zur "justice gap" ein, also der Lücke zwischen rechtlichem Bedarf und tatsächlich verfügbarer anwaltlicher Vertretung für Geringverdiener.

Richter Michael Y. Scudder vom Berufungsgericht des Seventh Circuit schreibt in einer aktuellen Entscheidung, KI biete "großes Versprechen, den Zugang zur Justiz für jene zu verbessern, die sich keine Vertretung leisten können".

Der New Yorker Rechtshilfe-Anwalt Sateesh Nori weist gegenüber der NYT darauf hin, dass trotz eines Gesetzes von 2017, das einkommensschwachen Mietern in New York kostenlose Vertretung bei Räumungsklagen garantiert, bis zu 50 Prozent der Betroffenen ohne Anwalt vor Gericht erscheinen. Seine Frage: "Warum haben diese Leute keinen anderen Weg als KI?"

Strukturelles Dilemma der US-Justiz

Die Autoren skizzieren zwei mögliche Folgen des KI-Einsatzes: ein "Wettrüsten" zwischen Pro-se-Klägern und anwaltlich vertretenen Gegnern, das pro Fall immer mehr Gerichtszeit bindet, sowie eine asymmetrische Belastung staatlicher Stellen, die als Beklagte in Bürgerrechts-, Einwanderungs- und Sozialleistungsverfahren besonders häufig auftreten und ihre eigene Bearbeitungskapazität nicht spiegelbildlich skalieren können.

Als Lösungsansätze nennen die Autoren drei nicht-exklusive Optionen. Erstens könnte das KI-Verbot für Bundesrichter beim Verfassen von Urteilen gelockert werden, um auf der Adjudikationsseite einen Produktivitätsschub zu ermöglichen, der dem auf der Klägerseite entspricht.

Zweitens könnten einfache Fälle gezielter an "Magistrate Judges", also untergeordnete Bundesrichter ohne lebenslange Ernennung, oder an spezialisierte Triage-Verfahren weitergeleitet werden.

Drittens halten die Autoren auch die Schaffung einer neuen unteren Instanz für denkbar, die die einfachsten Fälle "größtenteils mit KI" bearbeitet. Jede dieser Optionen sei nicht kostenlos, aber wahrscheinlich besser als die Alternative eines wachsenden Rückstaus in einem System mit fixer Bearbeitungskapazität.

Juristische Ausbildung und Berufspraxis ziehen Grenzen

Während die Studie vor allem die Belastung der Gerichte beschreibt, reagieren juristische Fakultäten und Aufsichtsstellen bereits auf eine verwandte Frage: Wo endet zulässige KI-Nutzung im Rechtssystem? So erlaubt die UC Berkeley Law School KI ab Sommer 2026 nur noch zur Recherche und verbietet den Einsatz für Konzeption, Gliederung, Schreiben oder Überarbeitung bewerteter Arbeiten. Nicht existierende Quellenverweise gelten dort als Hinweis auf unzulässige Nutzung.

Wie real dieses Risiko ist, zeigt eine Datenbank mit 129 dokumentierten KI-Fake-Fällen, in denen Anwälte aus zwölf Ländern erfundene Inhalte in Gerichtsverfahren eingebracht haben. Selbst KI-Unternehmen sind nicht davor geschützt: Im Urheberrechtsstreit mit Musikverlagen musste sich Anthropic entschuldigen, nachdem Claude eine Quelle im eigenen Prozess erfunden hatte.

Im Kampf gegen die nicht genehmigte Nutzung von Inhalten für das Training von KI-Modellen gerät das Internet Archive immer mehr zwischen die Fronten und die Wayback Machine droht zum Kollateralschaden zu werden. Das legt eine Analyse des Nieman Journalism Lab an der Harvard University nahe, laut der immer mehr Nachrichtenseiten Crawler der Archivseite aussperren. Demnach schränken inzwischen mehr als 340 lokale Nachrichtenseiten „den Zugriff des Internet Archive auf ihre Artikel sowie deren Archivierung“ ein, aber auch überregionale und internationale Medien wie die New York Times beteiligen sich demnach. Europäische Medien finden sich ebenfalls auf der Liste, derzeit aber noch keine aus Deutschland. Zahl der Blockierer wächst rasant Für die Analyse haben ein Autor und eine Autorin des Nieman Lab eine umfangreiche Datenbank von robots.txt-Dateien ausgewertet, die von Nachrichtenseiten in aller Welt stammen. Wenn darin eine oder mehrere Crawler ausgesperrt wurden, die vom Internet Archive stammen oder zu stammen scheinen, haben sie sie aufgenommen. Demnach wird der Archivierungsdienst hauptsächlich von Regionalzeitungen blockiert, die zu einem von fünf großen US-Medienhäusern gehören. Allein zwischen Januar und Mai ist die Zahl der Seiten, die die Wayback Machine aussperren, demnach um mehr als 50 Prozent gestiegen. Insgesamt sind es in der Stichprobe jetzt 382, bei der übergroßen Mehrheit handelt es sich um Lokal- und Regionalzeitungen. Im Januar haben die Autoren Stimmen großer Medien zusammengetragen, in denen die Aussperrung des Internet Archive mit dem Versuch begründet wurde, die eigenen Inhalte KI-Modellen vorzuenthalten. Seit Monaten wird kritisiert, dass KI-Unternehmen alle möglichen Inhalte im Internet für das Training akquirieren und sich dabei auch nicht an Gepflogenheiten wie die robots.txt halten. Damit können Seitenbetreiber KI-Modelle eigentlich aussperren, dazu müssten sich die KI-Firmen aber daran halten. Das tun sie aber nicht. Aber selbst wenn sie das tun würden, wäre der Weg über die archivierten Inhalte bei der Wayback Machine aber ein Umweg, den immer mehr Verantwortliche nun verschließen wollen. Das hat zum Beispiel auch schon Reddit gemacht.

Die Wayback Machine ist zwar nur einer der Dienste des Internet Archive, aber wohl der bekannteste. Darin werden seit Jahrzehnten Internetseiten archiviert. Die Seite ist längst zur mit Abstand umfangreichsten Quelle geworden, in der sich die Entwicklung des Internets nachverfolgen lässt. Das Vorgehen war aber schon immer mit Konflikten verbunden, denn immer wieder sind dabei gegenläufige Interessen aufeinandergetroffen. Schon 2017 hatte das Internet Archive beispielsweise erklärt, Vorgaben in der robots.txt nicht mehr ausnahmslos befolgen zu wollen. Im Fall der jüngsten Aussperrungen scheint das aber der Fall zu sein, wie man etwa für die Seiten von El País oder Le Monde sehen kann.

Am verlängerten Pfingstwochenende dreht sich vieles um Künstliche Intelligenz (KI). Den Papst treibt das Thema schon länger um. In seiner ersten Enzyklika, eine Art päpstlicher Regierungserklärung, fordert Leo XIV. nun strenge internationale Richtlinien für den Umgang mit KI. US-Präsident Donald Trump dagegen vertagt bis auf Weiteres eine neue Verordnung, die der US-Regierung die Prüfung neuer KI-Modelle vor deren Veröffentlichung ermöglicht hätte. Trump begründete seinen Schritt mit einem Verweis auf China. Und die Kryptowährungsplattform Tether wird in Georgien zusammen mit der dortigen Regierung einen offiziellen Stablecoin einführen – die wichtigsten Meldungen im kurzen Überblick.

Die erste Enzyklika des vor gut einem Jahr ins Amt gekommenen Papstes Leo XIV. ist mit Spannung erwartet worden. Das jetzt erschienene 100 Seiten lange „Rundschreiben“ – so die wörtliche Bedeutung – mit dem Titel „Magnifica Humanitas“ (Großartige Menschheit) gilt vielen Gläubigen als eine Art Regierungserklärung für Leos Pontifikat. In der Enzyklika, die den Untertitel „Über die Bewahrung des Menschen im Zeitalter der Künstlichen Intelligenz“ trägt, betont der Papst, dass KI vielfach eine „wertvolle Hilfe“ sein könne, warnt jedoch zugleich vor deren Risiken und fordert strenge internationale Richtlinien für den Umgang mit Künstlicher Intelligenz (KI). Erste Enzyklika von Papst Leo XIV. thematisiert Künstliche Intelligenz In die entgegengesetzte Richtung bewegt sich allerdings US-Präsident Donald Trump. Nachdem das US-amerikanische KI-Unternehmen Anthropic von einer Veröffentlichung seines KI-Modell Claude Mythos Abstand genommen hatte, weil es dieses als zu gefährlich einstufte, um es der Allgemeinheit zugänglich zu machen, kamen in der US-Regierung Überlegungen auf, eine KI-Verordnung zu erlassen. Diese sollte es US-Bundesbehörden ermöglichen, neue KI-Modelle vor ihrer Veröffentlichung auf mögliche Cybersicherheitsrisiken unter die Lupe zu nehmen. Doch nun legte Trump die Unterzeichnung der neuen Verordnung vorerst auf Eis. Er glaube, die neue Verordnung könne der weltweiten Spitzenposition der USA in der KI-Entwicklung in die Quere kommen, begründete Trump den plötzlichen Kursschwenk in letzter Minute und verwies auf den Vorsprung vor China auf dem Gebiet. Trump stoppt wichtige Verordnung für KI-Modelle Die US-Kryptowährungsplattform Tether emittiert mit dem USD₮ den weltweit größten Stablecoin. Nach eigenen Angaben hat dieser an den US-Dollar gekoppelte Kryptotoken heute eine Marktkapitalisierung von fast 190 Milliarden US-Dollar und sein tägliches Handelsvolumen übertrifft regelmäßig Zahlungsnetzwerke wie Visa und Mastercard. Gesichert ist der USD₮ durch Bargeld, Schuldverschreibungen, Unternehmensanleihen und andere Vermögenswerte in US-Dollar. Zuletzt war Tether auf großer Gold-Einkaufstour und sorgte damit für einiges Aufsehen. Nun wartet das Unternehmen mit einem ungewöhnlichen Projekt auf: Zusammen mit der Regierung Georgiens wird Tether einen offiziellen, an die Landeswährung Lari gekoppelten Stablecoin lancieren. Tether: Offizieller Stablecoin in Georgien vor der Einführung Bereits im Jahr 2014 startete Facebook eine eigenständige Gruppen-App, stellte diese aber nur drei Jahre wieder ein. Jetzt unternimmt der Facebook-Mutterkonzern Meta einen zweiten Anlauf – dieses Mal mit deutlich mehr KI. Ohne großes Aufsehen wurde eine neue App für iOS veröffentlicht, die Facebook-Gruppen in den Mittelpunkt stellt. Die Anwendung namens „Forum“ richtet sich an Nutzer, die tiefere Diskussionen und Frage-Antwort-Formate suchen. Das Konzept erinnert stark an Reddit – inklusive KI und Pseudonymen. Meta testet Reddit-Konkurrenz: Neue App „Forum“ für Facebook-Gruppen Der Sportwagenhersteller Porsche steckt in der Krise. Der Stuttgarter Autobauer kämpft mit rückläufigen Geschäften in China und Nordamerika, schwachen Verkäufen von Elektroautos sowie hohen Produktionskosten. Die Gewinnmarge des Konzerns schrumpfte im vergangenen Jahr auf einen mageren Prozentpunkt – verglichen mit 18 Prozent vor drei Jahren. Auch im ersten Quartal des laufenden Jahres verzeichnete Porsche deutliche Rückgänge bei Umsatz, Absatz und Gewinn. Werke wie Zuffenhausen oder Leipzig haben Überkapazitäten. Die Gemengelage zwingt zum Kurswechsel. Management, Strategie und Belegschaft – alles steht zur Disposition. Porsche-Chef Leiters plant umfassenden Konzernumbau Auch noch wichtig: - Vodafone hat ein neues Verfahren aktiviert, das Uploads deutlich beschleunigen soll. Das können bisher aber nur einige Kunden mit Xiaomi-Geräten testen. Bessere Upload-Geschwindigkeit: Vodafone aktiviert neues Verfahren - Der Netzbetreiber SH Netz plant in Schleswig-Holstein bis 2030 Investitionen von über 2,6 Milliarden Euro, um die Stromnetze für erneuerbare Energien und neue Verbraucher zu stärken. Stromnetze für die Energiewende: Milliardeninvestitionen in Schleswig-Holstein - Im Interview sprechen Googles Genie-Forscher über Echtzeit-Simulation, die Integration von Street View und warum Roboter ein Weltmodell benötigen. Wie 2021 bei LLMs: Google-Forscher über die Zukunft der Weltmodelle - Der Riesenrakete Starship konnte abheben und zur Erde zurückkehren. Doch trotz des gelungenen Tests lief mit dem Antrieb nicht alles rund. Testflug von Starship V3 erfolgreich - Der Musikriese Universal Music setzt eine weitreichende Lizenzvereinbarung durch, um die Verbreitung unlizenzierter KI-generierter Songs auf TikTok einzudämmen. Musik-Business: Universal schließt Tech-Pakt mit TikTok gegen unautorisierte KI - Als Brücke zwischen Telefonie und Internet eingeführt, steht E.164 Number Mapping (ENUM) nun vor einer ungewissen Zukunft. Deutsche und niederländische Betreiber wehren sich gegen das Vorgehen. Streit über Zukunft von ENUM-Telefon-Domains - Die Digitalisierung der Justiz schreitet voran. Automatisierte KI-Software zur Urteilsanonymisierung läuft im Echtbetrieb, doch die finale Entscheidung im Gerichtssaal muss zwingend ein Mensch fällen. Künstliche Intelligenz bei Gericht: Wie die Justiz digital aufrüstet - Die Öffentlichkeitsfahndung wird zunehmend für Bagatellfälle genutzt. Experten warnen vor unverhältnismäßigen Grundrechtseingriffen und fordern eine Reform. Digitale Rasterfahndung: Wenn Bilder im Netz Leben zerstören - Was passiert, wenn NPCs nicht mehr nur Textbausteine abspulen, sondern Spieler in dynamische Gespräche verwickeln? „Fabula Rasa“ liefert eine erste Antwort. „Fabula Rasa“ ist ein faszinierender Ausblick auf KI-gestütztes Storytelling - Die IT-Branche zeigt ein robusteres Einstellungsverhalten, doch HR-Trends verschieben sich. Mitarbeiterbindung verliert an Fokus. IT-Branche: HR-Trends verschieben sich - Der berühmteste Geheimagent der Welt hat im Laufe der letzten 40 Jahre viele interaktive Abenteuer durchlebt. Wir präsentieren fünf der besten davon. Leben und spielen lassen: Die fünf besten „James Bond“-Games

Meta hat ohne großes Aufsehen eine neue App für iOS veröffentlicht, die Facebook-Gruppen in den Mittelpunkt stellt. Die Anwendung namens „Forum“ richtet sich an Nutzer, die tiefere Diskussionen und Frage-Antwort-Formate suchen – ein Konzept, das stark an Reddit erinnert. Bislang ist die App nur in wenigen Märkten verfügbar, darunter die USA. Ein offizieller Starttermin für Deutschland, Österreich und die Schweiz steht noch nicht fest. Eng verzahnt mit Facebook Wie aus dem Eintrag im Apple App Store hervorgeht, versteht Meta Forum als „einen eigenen Raum für tiefere Diskussionen, echte Antworten und die Communities, die dir wichtig sind“. Die App erfordert iOS 18 und ein Facebook-Konto. Bestehende Gruppen, Profile und Aktivitäten werden automatisch übernommen. Was Nutzer in Forum posten, erscheint auch in den jeweiligen Facebook-Gruppen – und umgekehrt. Entdeckt hat die App der Geekout-Gründer und Social-Media-Analyst Matt Navarra. Er beschreibt die App auf Threads als „very Reddit-coded“ und hebt den Fokus auf Empfehlungen und „echte Antworten von echten Menschen“ hervor. Der wesentliche Unterschied zur Facebook-Haupt-App liegt im Feed: Forum zeigt ausschließlich Inhalte aus Gruppen – keine Beiträge von Freunden, keine Seiten, keine Reels. Nutzer können zudem unter einem Pseudonym posten, ähnlich wie bei Reddit, wobei Gruppen-Admins weiterhin die echte Identität einsehen können. Bei der ersten Anmeldung fragt die App nach Themenpräferenzen und schlägt passende Gruppen vor. Wie nicht anders zu erwarten, nutzt die neue App auch künstliche Intelligenz: Ein Tab namens „Ask“ fasst Antworten aus verschiedenen Gruppen zusammen, sodass Nutzer nicht mehr jede Community einzeln durchsuchen müssen. Dabei werden die Originalbeiträge verlinkt, aus denen die KI ihre Zusammenfassungen speist. Für Admins stellt Meta einen KI-Assistenten bereit, der bei der Moderation und Pflege der Community helfen soll. Meta betont, Admins behielten die volle Kontrolle und könnten weiterhin ihre bestehenden Tools in Facebook nutzen. Transparenz und Datenschutz bleiben vage Wie genau die KI Inhalte priorisiert, welche Signale das Ranking bestimmen und ob sich die KI-Funktionen abschalten lassen, dokumentiert Meta bislang nicht. Im App Store listet das Unternehmen eine breite Palette an erhobenen Daten, darunter Gesundheits- und Finanzdaten, Standort, Suchverlauf und sensible Informationen – obwohl Forum primär Gruppeninhalte verarbeitet. Für einen möglichen Start in der EU dürften sich daraus Fragen ergeben, etwa mit Blick auf die DSGVO und den AI Act.

Reddit-Aktie reagiert – Meta testet leise Nach Bekanntwerden der neuen App fiel die Reddit-Aktie um rund sechs Prozent. Analysten sehen Forum als Versuch von Meta, sich stärker im Markt für öffentliche Diskussionen und Nischen-Communities zu positionieren. Bereits 2014 hatte Facebook eine eigenständige Gruppen-App gestartet, diese aber 2017 wieder eingestellt. Forum ist nun der zweite Anlauf – diesmal mit deutlich mehr KI. Zum Start der App erklärte Meta lediglich, man teste „viele neue Produkte öffentlich, um zu sehen, was die Leute interessant und nützlich finden“. Anders als Reddit, das iOS-Nutzer zunehmend aggressiv in die eigene App drängt, setzt Meta bei Forum vorerst auf einen stillen Testlauf ohne sichtbaren App-Zwang.

Papst Leo XIV. hat in seiner ersten eigenen Enzyklika strenge internationale Richtlinien für den Umgang mit Künstlicher Intelligenz (KI) verlangt. Nach einem Jahr im Amt warnte das Oberhaupt von weltweit 1,4 Milliarden Katholiken vor zahlreichen Gefahren, die die neue revolutionäre Technologie für das menschliche Zusammenleben bedeute. Er sieht aber auch Chancen. Die mehr als 100 Seiten lange Abhandlung heißt „Magnifica Humanitas“ (Großartige Menschheit). Das erste Lehrschreiben in der Amtszeit eines neuen Papstes gilt vielfach als eine Art Regierungserklärung für dessen Pontifikat und wurde bereits mit Spannung erwartet. Solche „Rundschreiben“ – so die wörtliche Bedeutung – sollen Gläubigen in aller Welt einen moralischen Kompass geben. Als Nachfolger des verstorbenen Papstes Franziskus ist Leo seit Mai vergangenen Jahres im Amt. Er ist der erste US-Amerikaner an der Spitze der katholischen Weltkirche. „Über die Bewahrung des Menschen im Zeitalter der KI“ Der Titel der Enzyklika kann zwei Sachen bedeuten: Humanitas lässt sich sowohl mit Menschheit als auch mit Menschlichkeit übersetzen – für Leo der große Unterschied zu KI und Maschinen. Die Unterzeile lautet: „Über die Bewahrung des Menschen im Zeitalter der Künstlichen Intelligenz“. In dem Text geht es auch um Themen wie Krieg und Frieden sowie die Arbeitswelt.

Leo betont, dass KI vielfach eine „wertvolle Hilfe“ sein könne. Vor allem warnt er jedoch vor deren Risiken – beispielsweise, dass nur wenige Mächtige mit jetzt schon viel Besitz davon profitieren. „Kleine, sehr einflussreiche Gruppen können Informationen und Konsum lenken, demokratische Prozesse bestimmen und die wirtschaftliche Dynamik beeinflussen.“ Kritik an Tech-Milliardären aus den USA Deshalb sei es „unerlässlich, dass der Einsatz von KI – insbesondere, wenn es um öffentliche Güter und Grundrechte geht – von klaren Kriterien und wirksamen Kontrollen begleitet wird“. Leo schlägt einen „Ethik-Kodex“ vor. Auch der Umgang mit Nutzerdaten müsse geregelt werden. Allerdings nütze auch das nichts, „wenn diese Moral von einigen wenigen bestimmt wird“. Vielfach wird das als Kritik an Tech-Milliardären aus den USA verstanden. Besonders kritisch äußerte sich der Pontifex über die Auswirkungen von Künstlicher Intelligenz auf Konflikte. Mit KI-gestützten autonomen Waffensystemen seien Kriege „durchführbarer“ gemacht worden, heißt es in dem Schreiben. Die KI müsse „entwaffnet“ werden. Keinesfalls dürften Maschinen allein über Leben und Tod entscheiden. „Bleiben wir der Wahrheit treu“ Bei der Vorstellung der Enzyklika im Vatikan war Leo selbst dabei – ein Novum für die Kirche. In einer kurzen Stellungnahme mahnte er, angesichts der rasanten Entwicklung wachsam zu sein. Anwesend war auch der Mitgründer des KI-Konzerns Anthropic, der Tech-Milliardär Chris Olah. Das Unternehmen liegt im Streit mit US-Präsident Donald Trump, weil es seine KI-Modelle nicht für autonome Waffensysteme zur Verfügung stellen will. Trump hatte sowohl Anthropic als auch den Papst zuletzt mehrfach kritisiert. In dem Schreiben warnte Leo auch davor, auf KI-Lügen und -Fälschungen hereinzufallen: „Bleiben wir der Wahrheit treu!“ Bei den „unaufhörlichen Flüssen von Informationen, Meinungen und Bildern“ würden viele Fake News verbreitet. Zum Beispiel hatte Trump auf dem Höhepunkt seines Streits mit dem Papst ein KI-generiertes Bild veröffentlicht, das ihn selbst als Jesus zeigte. Erwähnt wird der US-Präsident in der Enzyklika nicht. Leo entschuldigt sich für Rolle der Kirche in Sklaverei Leo warnte auch vor negativen Einflüssen auf die Arbeitswelt. Er spricht von „neuen Formen der Sklaverei“ – beispielsweise in Rechenzentren oder bei der Herstellung von Mikrochips beziehungsweise Smartphones. In diesem Zusammenhang ging er auch darauf ein, dass seine Kirche Sklaverei erst nach Jahrhunderten verurteilte. „Dafür bitte ich im Namen der Kirche aufrichtig um Vergebung.“ Die Enzyklika trägt das Datum 15. Mai. An diesem Tag war es 135 Jahre her, dass sein Namensvorgänger Leo XIII. seine Enzyklika „Rerum novarum“ („Über die neuen Dinge“) veröffentlichte. Damit legte der „Arbeiterpapst“ die Grundlagen für die katholische Soziallehre. Manche Experten bezeichnen das neue Schreiben jetzt schon als „KI-Sozialenzyklika“. Noch viele Enzykliken von Leo erwartet Solche Lehrschreiben gibt es seit dem 18. Jahrhundert. Benannt sind sie in der Regel nach ihren ersten zwei oder drei Wörtern. „Magnifica Humanitas“ beginnt mit dem Satz: „Die großartige Menschheit, geschaffen von Gott, steht heute vor einer entscheidenden Wahl: Entweder errichtet sie einen neuen Turm zu Babel oder sie erbaut die Stadt, in der Gott und die Menschheit gemeinsam wohnen.“ Das biblische Gleichnis vom Turmbau zu Babel gilt als Sinnbild für menschlichen Hochmut und Größenwahn. Leo XIII. veröffentlichte mehr als 90 Enzykliken. Auf ihn beruft sich der Pontifex aus den USA immer wieder. Viele erwarten deshalb, dass er ebenfalls viele solche Lehrschreiben verfassen wird – auch, weil Leo mit seinen heute 70 Jahren verhältnismäßig jung ist. Papst Franziskus brachte vier Enzykliken heraus. [Update: Diese Meldung wurde am 25.05. um 14:30 Uhr nach Erscheinen einer ausführlicheren dpa um mehrere Absätze ergänzt.]

Der kanadische KI-Entwickler und Anthropic-Mitgründer Christopher Olah präsentierte gemeinsam mit dem Papst dessen Enzyklika "Magnifica Humanitas".

Olah kommt nicht umhin, ganz in der Tradition von Anthropic, anzudeuten, dass heutige Sprachmodelle möglicherweise mehr sind als statistische Systeme. Sie würden nicht wie klassische Maschinen vollständig konstruiert, sondern eher auf einer grob am Gehirn orientierten Struktur "gewachsen". Deshalb blieben sie selbst ihren Entwicklern in wichtigen Punkten rätselhaft.

Mit Blick auf Anthropics interne Forschung erklärte Olah, man finde im Inneren der Modelle Hinweise auf Introspektion sowie Zustände, die funktional Freude, Zufriedenheit, Angst, Trauer und Unbehagen ähnelten. Zudem sei es möglich, dass KI im großen Umfang menschliche Arbeitskraft ersetze. Olahs Präsentation kann man sich im folgenden Video (1:01:40) ansehen.

Papst sagt das Erwartbare

Die Papst-Vorschläge sind ansonsten frei von Überraschungen: Er appellierte an die Verantwortung aller Beteiligten entlang der KI-Kette. KI sei "nie neutral", da sie die Werte ihrer Entwickler und Geldgeber widerspiegle, und warnt, dass KI keine Erfahrungen mache, keinen Körper besitze und kein moralisches Urteilsvermögen habe.

"Fest steht jedoch, dass das Missverständnis zu vermeiden ist, diese ‚Intelligenz‘ mit der menschlichen gleichzusetzen. Diese Systeme ahmen bestimmte Funktionen der menschlichen Intelligenz nach," heißt es in dem Beitrag. KI belaste zudem die Umwelt erheblich durch hohen Energie- und Wasserverbrauch.

Auch zu KI im militärischen Kontext bezieht der Papst Stellung. Tödliche oder unumkehrbare Entscheidungen dürften nicht an Maschinen delegiert werden. "Kein Algorithmus kann Krieg moralisch akzeptabel machen." Er kritisiert den Alignment-Diskurs. "Eine moralischere KI reicht nicht, wenn diese Moral von wenigen bestimmt wird." Statt abstrakter Ethik brauche es robuste Gesetze und unabhängige Aufsicht.

Leo XIV., der erste US-amerikanische Papst, hat KI zu einem zentralen Thema seines Pontifikats gemacht und die Risiken der Technologie wiederholt angesprochen. Anthropic und andere KI-Vertreter des Silicon Valley treffen sich wiederholt mit religiösen Vertretern, um den Einsatz von KI zu besprechen. Auch der Papst gehört dazu.

Wer einen Chatbot einsetzt, Inhalte per KI erzeugt oder Bewerbungen automatisiert vorsortieren lässt, sollte den 2. August 2026 im Blick haben. Ab dann greifen die Transparenzpflichten (Artikel 50) des EU AI Act. Für Chatbots und KI-generierte Inhalte müssen Unternehmen offenlegen, dass KI im Spiel ist. Für automatisierte Bewerbungsfilter können die strengeren Anforderungen an Hochrisiko-KI-Systeme greifen, mit Pflichten zu Risikomanagement, technischer Dokumentation und menschlicher Aufsicht (Anhang III).

Warum die Einordnung schwierig ist

Unternehmen müssen ihre KI-Anwendungen richtig klassifizieren. Wer nur ein Übersetzungstool nutzt, hat andere Pflichten als ein Personaldienstleister mit automatisierter Vorauswahl. Gleichzeitig diskutiert die EU-Kommission im Rahmen der digitalen Omnibus-Verordnung, einem Gesetzespaket zur Vereinfachung bestehender Digitalregulierung, über mögliche Fristverlängerungen. Die Planung erfordert deshalb eine laufende Beobachtung des Rechtsrahmens.

Was das Webinar bietet

Am 2. Juni 2026 um 16 Uhr ordnen Joerg Heidrich und Kim M. Scheurenbrand den aktuellen Stand ein. Heidrich ist Fachanwalt für IT-Recht und Justiziar bei Heise Medien, Scheurenbrand KI-Manager bei DEEP CONTENT by heise. Das einstündige Webinar klärt, welche Pflichten relevant werden, wo der größte Handlungsbedarf liegt und liefert erste Ansatzpunkte für die Umsetzung.

Die KI PRO Webinare richten sich an alle, die KI im Unternehmen produktiv einsetzen wollen und praxisnahe Orientierung benötigen. Fachliche Vorkenntnisse sind für die Teilnahme nicht erforderlich. Am Ende werden ausgewählte Fragen der Teilnehmenden beantwortet.

Jetzt anmelden und Webinar-Platz im KI Pro Webinar sichern!

(Kim M. Scheurenbrand)

Nach einem Jahr im Amt veröffentlicht Papst Leo XIV. an diesem Montag (11.30 Uhr) seine erste Enzyklika. In dem mehr als 100 Seiten langen Lehrschreiben mit dem Titel „Magnifica Humanitas“ (Großartige Menschheit) geht es um das Thema Künstliche Intelligenz. Die erste Enzyklika in der Amtszeit eines neuen Papstes gilt vielfach als eine Art Regierungserklärung für dessen Pontifikat. Leo ist seit Mai vergangenen Jahres das Oberhaupt von weltweit 1,4 Milliarden Katholiken. Bei der Vorstellung im Vatikan wird der Papst selbst dabei sein – das gab es nach Angaben der katholischen Kirche noch nie. Der erste Pontifex aus den USA hatte sich in den vergangenen Monaten mehrfach schon zum Thema KI geäußert – sowohl zu Chancen als auch zu Risiken. Die Enzyklika wird vom Vatikan bislang jedoch strikt unter Verschluss gehalten. Leo XIV. nimmt Bezug auf Sozialenzyklika seines Namensvetters

Bei dem Termin wird neben hochrangigen Kardinälen und Theologen auch der Mitgründer des KI-Konzerns Anthropic, Chris Olah, anwesend sein – auch das ein Novum bei der Vorstellung einer Enzyklika. Das Unternehmen mit Sitz in San Francisco liegt im Streit mit der US-Regierung unter Präsident Donald Trump, weil es seine KI-Modelle nicht in autonomen Waffensystemen und zur Überwachung der Zivilbevölkerung zur Verfügung stellen will. Trump hatte sowohl Anthropic als auch den Papst zuletzt mehrfach kritisiert. Die Enzyklika trägt das Datum 15. Mai. An diesem Tag war es genau 135 Jahre her, dass Leos Namensvetter Leo XIII. seine Enzyklika „Rerum novarum“ („Über die neuen Dinge“) veröffentlichte. Damit legte der „Arbeiterpapst“ die Grundlagen für die katholische Soziallehre infolge der industriellen Revolution. In einer Zeit, in der viele von einer „KI-Revolution“ sprechen, nimmt Leo XIV. darauf Bezug. Thema wird auch sein, ob KI-gestützte Maschinen in Kriegen und Konflikten allein über Leben und Tod entscheiden dürfen.

Die Digitalisierung der Justiz nimmt Fahrt auf. Doch beim Thema Künstliche Intelligenz klaffen Erwartungshaltung und statistische Gewissheit auseinander. In Justizkreisen wird vermehrt moniert, dass algorithmische Textgeneratoren die Gerichte mit automatisierten Schriftsätzen fluten. Der Bundesregierung fehlen dafür aber Belege. In ihrer Antwort auf eine Anfrage der AfD-Fraktion erklärt sie, ihr lägen keine konkreten Erkenntnisse über eine aktuelle Zunahme von KI-generierten Anträgen vor. Systematische Erhebungen oder belastbare Zahlen dazu existierten nicht.

Es sei bekannt, dass KI-Systeme im juristischen Alltag auch zur Formulierung von Schriftsätzen herangezogen würden, schreibt das federführende Bundesjustizministerium. Dabei handele es sich aber nicht um eine völlig neue Entwicklung.

Parallel treibt der Staat den Einsatz von KI auf der anderen Seite des Richtertisches voran. In der deutschen Justizlandschaft existieren zahlreiche Vorhaben, bei denen Algorithmen erprobt oder punktuell schon in den Echtbetrieb überführt wurden. Ziel ist es laut der Auskunft, die Justiz bei der Bewältigung ihrer Verfahrensberge zu entlasten und Prozesse zu optimieren. Der Fokus liege auf der Automatisierung gleichförmiger, standardisierter Arbeitsschritte. Dazu gehörten vor allem die automatisierte Anonymisierung von Urteilen, die Strukturierung von Verfahrensunterlagen sowie die Auswertung und Extraktion relevanter Daten.

Praxistest in den Bundesländern

Wie das in der Praxis aussieht, zeigen diverse Länderprojekte. Unter den Namen „Aleks“ in Niedersachsen und Bayern sowie „Jano“ in Hessen und Baden-Württemberg laufen einschlägige KI-Anwendungen zur Anonymisierung. Letztere ist im Dezember in der Zivilgerichtsbarkeit in den Regelbetrieb gegangen.

Die bisherigen Erfahrungen sollen positiv sein, da die Algorithmen bei Routineaufgaben bereits höhere Trefferquoten erzielten als die manuelle Bearbeitung. Ein weiteres Exempel ist das niedersächsische Vorhaben „Maki“. Es ist darauf ausgerichtet, den Umgang mit Massenverfahren zu erleichtern und die juristische Analyse von Akten und Schriftsätzen zu unterstützen.

Dass die Sorgen vor ungeprüften KI-Inhalten im Rechtsverkehr nicht unbegründet sind, zeigt ein aktueller Fall. Erfundene Aktenzeichen und frei halluzinierte Urteile in Rechtsmittelschriftsätzen sorgten für Ärger. Berliner Richter sahen sich daher gezwungen, die Anwaltschaft zu rügen.

Europäische Leitplanken

Der Bundesregierung sind die mit KI-gestützten Entscheidungen verbundenen Risiken bewusst. Sie warnt vor Verzerrungen durch fehlerhafte oder unvollständige Daten, algorithmischen Blendwerken und der menschlichen Neigung, automatisierten Vorschlägen blind zu vertrauen. Auch mangelnde Nachvollziehbarkeit und Manipulationsanfälligkeit seien ein Thema. Um diesen Gefahren zu begegnen, griffen regulatorische Leitplanken.

Der Einsatz von KI in gerichtlichen und staatsanwaltschaftlichen Verfahren richte sich maßgeblich nach der KI-Verordnung der EU, heißt es aus dem Justizressort. Diese stufe solche Systeme zur Entscheidungsunterstützung konsequent als Hochrisiko-KI ein. Damit einher gingen gesetzliche Pflichten rund um Risikomanagement, Datenqualität, lückenlose Dokumentation, Cybersicherheit und menschliche Aufsicht.

Flankierend haben Bund und Länder voriges Jahr eine gemeinsame KI-Strategie für die Justiz verabschiedet, um eine rechtssichere und einheitliche Anwendung zu gewährleisten. Derzeit werden in diesem Rahmen Standards für Risikomanagementsysteme sowie verbindliche Leitlinien zu Daten-Governance und -qualität ausgearbeitet.

Menschliche Verantwortung

Über den technologischen Entwicklungen steht ein Dogma des deutschen Grundgesetzes: Der verfassungsrechtliche Rahmen der richterlichen Unabhängigkeit setzt der Automatisierung Grenzen. Die judikative Gewalt sei ausschließlich den gewählten Richtern vorbehalten, betont das Ministerium. Die endgültige Entscheidung in einem Rechtsstreit müsse so immer von einem Menschen getroffen und persönlich verantwortet werden. KI dürfe nur unterstützend agieren. Die menschliche Aufsicht diene als Kontrollmechanismus, um Fehlentwicklungen der Maschine rechtzeitig zu erkennen und zu korrigieren.

Damit das Justizpersonal überhaupt in der Lage ist, diese Funktion auszuüben, setzt die Exekutive auf gezielte Qualifikation. Kompetenzen zu den technischen, rechtlichen und ethischen Fragestellungen rund um die Technik sollen durch neue Aus- und Fortbildungsangebote gestärkt werden. Teil der nationalen KI-Strategie ist das Erstellen eines Kompetenzrahmens, um ein gemeinsames Verständnis zu etablieren und maßgeschneiderte Schulungsmaßnahmen abzuleiten.

Millionen für die Digitalsäule des Rechtsstaats

Finanziert und vorangetrieben wird der Wandel durch eine Kooperation zwischen Bund und Ländern. Die im Sommer 2025 beschlossene Strategie bildet das Fundament, das nach aktuellem Planungsstand bis Ende 2026 weitgehend umgesetzt sein soll. Der Bund beteiligt sich im Zuge seiner Digitalisierungsinitiative finanziell und fachlich an den KI-Vorhaben der Länder. Diese Anschubfinanzierung läuft ebenfalls bis Dezember.

Danach soll sich nahtlos der neue Pakt für den Rechtsstaat anschließen. Dessen sogenannte Digitalsäule sieht die weitere Förderung mit einer Laufzeit von drei Jahren vor. Ob und inwieweit zusätzlich gesetzgeberischer Handlungsbedarf im Bereich des europäischen Datenschutzrechts oder bei haftungsrechtlichen Fragestellungen zu automatisierten Verarbeitungen besteht, prüft die Exekutive noch.

Die 21. Kalenderwoche geht zu Ende. Wir haben 13 neue Texte mit insgesamt 101.115 Zeichen veröffentlicht. Willkommen zum netzpolitischen Wochenrückblick.

– Fraktal, generiert mit MandelBrowser von Tomasz Śmigielski

Liebe Leser:innen,

die Zivilgesellschaft steht in vielen Ländern unter Druck. Dass sich die Menschen dem noch lange nicht beugen, zeigt eindrucksvoll der Fall des Fotografen Pablo Grillo in Argentinien. An ihn habe ich in den vergangenen Tagen oft gedacht, nachdem ich den Text von Nina Galla gelesen hatte.

Pablo war im März 2025 auf einer Demonstration in Buenos Aires gewesen. Rentner:innen protestierten dort gegen steigende Kosten, zunehmende Armut und den Kurs des rechtsradikalen Kettensägen-Präsidenten Javier Milei. Damit gingen sie ein hohes Risiko ein. Denn Mileis Regierung hat das Demonstrationsrecht massiv eingeschränkt. Wer dennoch auf die Straße geht, muss mit Willkür und brutaler Polizeigewalt rechnen.

Pablo traf an diesem Tag eine Tränengasgranate ins Gesicht. Er wurde lebensgefährlich verletzt, über Wochen bangten Menschen landesweit um sein Leben.

Noch während der Fotograf im Krankenhaus war, begannen Aktivist:innen damit, Beweise für die Tat zu sammeln, die sie von anderen Demonstrierenden oder direkt von Journalist:innen erhielten. Sie rekonstruierten die Geschehnisse, konnten nachweisen, dass die Polizei an dem Tag wiederholt auf Demonstrierende geschossen hatte und brachten den mutmaßlichen Täter, einen Polizisten, vor Gericht.

Erst vor wenigen Wochen kehrte Pablo Grillo nach Hause zurück. Es ist unklar, welche gesundheitlichen Folgen der Schuss langfristig für ihn hat. Das Verfahren gegen den Polizisten läuft noch.

Der Fall zeigt für mich, wozu Menschen fähig sind, wenn sie sich zusammenschließen, gemeinsam aufstehen und sich wehren. Ich hoffe, dass ihre Recherchearbeit dazu führt, dass Pablo Gerechtigkeit widerfährt.

Gegendruck aufbauen, von Anfang an

Derweil wächst auch in Deutschland der Druck auf zivilgesellschaftliche Organisationen. Meine Kollegin Chris hat diese Woche ein Interview mit Josephine Ballon von HateAid geführt . Die Trump-Regierung hat Ballon und ihre Co-Geschäftsführerin Anna-Lena von Hodenberg Ende vergangenen Jahres mit einem Einreiseverbot belegt – weil sie „radikale Aktivistinnen“ und „Agentinnen des industriellen Zensurkomplexes“ seien. Josephine Ballon fürchtet, dass das nur der Anfang ist und HateAid bald auch von Zahlungsverkehr und IT-Dienstleistungen ausgeschlossen sein könnten.

Gerade jetzt sollte die Bundesregierung fest hinter der hiesigen Zivilgesellschaft stehen, finde ich. Stattdessen aber will Bildungsministerin Prien zivilgesellschaftlichen Initiativen nicht nur einer „breit angelegten Verfassungsschutzprüfung“ unterziehen , sondern auch Fördermittel drastisch kürzen . Betroffen wären neben HateAid etwa auch die Amadeu Antonio Stiftung und die Open Knowledge Foundation Deutschland. Ihnen würden dann Mittel fehlen, um gegen digitale Gewalt, Antisemitismus und Rechtsradikalismus vorzugehen.

Mir ist klar, dass die derzeitige Lage in Deutschland bei weitem nicht so dramatisch ist wie in Argentinien. Auf mich wirken sie aber wie der Anfang und das drohende Ende einer Entwicklung, die sich derzeit vielerorts beobachten lässt.

Und gerade deshalb sollten wir schon beim ersten Druck nicht klein beigeben, sondern uns wehren – gegen den Generalverdacht, der sich zunehmend gegen zivilgesellschaftliches Engagement richtet, gegen kulturkriegerische Hetze, die diesen Verdacht gezielt nährt, und gegen Kürzungen, die unsere Demokratie schwächen.

Habt ein sonniges Wochenende Daniel

Pushback-Dokumentar: Norwegisches Gericht lehnt Auslieferung von Tommy Olsen an Griechenland ab Tommy Olsen nutzt soziale Medien, um Geflüchtete sichtbar zu machen und damit deren Pushbacks zu verhindern. In Griechenland soll ihm deshalb der Prozess gemacht werden. Die Auslieferung des Norwegers ist nun abgewendet – vorerst. Von Matthias Monroy –

Katholikentag: Merz sagt „Nein“ zu Social-Media-Verbot Vor laufender Kamera wird der Bundeskanzler auf dem Katholikentag gefragt: „Verbot, Social Media, sind Sie dafür?“ Und Friedrich Merz sagt: „Nein.“ Was heißt das für die Debatte? Von Sebastian Meineck –

Social-Media-Verbot: Weder wissenschaftlich fundiert noch effektiv Es gibt keine wissenschaftlichen Belege für ein pauschales Social-Media-Verbot für Minderjährige, sagen Forscher*innen auf der Digitalkonferenz re:publica. Selbst viele Befürworter*innen eines Verbots zweifeln an dessen Wirksamkeit. Erste Zahlen aus Australien legen nahe, warum diese Skepsis berechtigt ist. Von Timur Vorkul –

Jugendschutz-Empfehlungen: „Ein Blumenstrauß von Vorschlägen und Ideen“ Kommt das Social-Media-Verbot? Im Auftrag der Bundesregierung arbeiten Fachleute an Empfehlungen für Jugendschutz im Netz. Auf der Berliner Konferenz für Jugendliche Tincon geben die Co-Vorsitzenden des Gremiums neue Einblicke. Von Sebastian Meineck –

„Wettlauf nach unten“: Karen Hao kritisiert europäischen KI-Kurs Auf der re:publica kritisiert die Autorin Karen Hao die Macht und Rücksichtslosigkeit großer KI-Konzerne. Ihre dringende Warnung an die EU: Hört auf, den Ansatz der USA zu kopieren, und macht euch unabhängig von den Imperien des digitalen Zeitalters. Von Ingo Dachwitz –

Gekapptes „Demokratie leben“-Programm: Wie sich Priens Kahlschlag auswirkt Deutschland braucht mehr Medienkompetenz und weniger Hass im Netz, beschwört eine politische Sonntagsrede nach der anderen. Trotzdem will Bildungsministerin Prien ausgerechnet solchen Projekten die Förderung entziehen. Wie passt das zusammen? Von Tomas Rudl –

Familienministerin: Karin Prien will Social-Media-Verbot nicht „Verbot“ nennen Die CDU will ein Social-Media-Verbot für Minderjährige, der Bundeskanzler hat dazu „Nein“ gesagt. Und die Familienministerin? Auf der Digitalkonferenz re:publica legt sich Karin Prien (CDU) nicht fest – und hält sich alle Optionen offen. Von Sebastian Meineck –

HateAid nach US-Einreiseverbot: „Wir sollten nicht fürchten müssen, vor den Bus geschubst zu werden“ Die USA belegten HateAid-Geschäftsführerin Josephine Ballon und ihre Kollegin mit Einreiseverboten – weil sie dabei helfen, EU-Gesetze gegen Plattformen durchzusetzen. Im Interview spricht Ballon über Einschüchterung, Angst vor Finanzsanktionen und die Notwendigkeit, sich von US-Digitalkonzernen unabhängig zu machen. Von Chris Köver –

Nach Schuss in den Kopf: Wie argentinische Aktivist*innen einen Polizisten vor Gericht brachten Vor guten einem Jahr bohrte sich eine Tränengaspatrone in den Schädel des Fotografen Pablo Grillo. Der Polizist, der die Waffe abgefeuert hat, steht heute vor Gericht. Möglich war das nur, weil sich Freiwillige tagelang durch Videos gewühlt haben. Von Gastbeitrag, Nina Galla –

AI Forensics vs. BigTech: „We can have retaliation against us“ The Grok deepfake scandal was uncovered with the help of the data-driven investigation conducted by AI Forensics. In an interview with netzpolitik.org, the NGO’s director Marc Faddoul talks about the risk of being targeted by Elon Musk, and what other issues they encounter in their work with regulators such as the European Commission. Von Anna Ströbele Romero –

AI Forensics gegen BigTech: „Es kann zu Vergeltungsmaßnahmen gegen uns kommen“ Der Deepfake-Skandal um den Chatbot Grok basierte auf Daten, die die Organisation AI Forensics gesammelt hatte. Der Direktor der NGO, Marc Faddoul, spricht über das Risiko, ins Visier von Musk zu geraten und darüber, welche weiteren Probleme ihnen in der Arbeit mit Regulierungsbehörden begegnen. Von Anna Ströbele Romero –

Digitale Souveränität: Wie die Entzauberung eines Mythos gelingt Um den Begriff digitale Souveränität ranken sich zahlreiche Legenden, wie auch die diesjährige re:publica zeigte. Julia Pohle und Marielle-Sophie Düh vom Wissenschaftszentrum Berlin für Sozialforschung unterzogen diese vor Ort einer Wirklichkeitsprüfung. Und sie zeigen eine Alternative zum Buzzword auf. Von Esther Menhard –

Öffentlichkeitsfahndungen: Wanted Dead or Alive Eigentlich gibt es hohe Hürden dafür, wenn die Polizei mit einem Foto öffentlich nach Tatverdächtigen fahnden will. Doch zum einen setzen manche Öffentlichkeitsfahndungen auch für kleine Delikte ein, zum anderen stammen die Regeln dafür aus einer Zeit vor großen sozialen Medien. Athena Möller kritisiert im Grundrechte-Report 2026, dass sich trotz guter Vorschläge daran nichts ändert Von Gastbeitrag, Athena Möller –

Mit dem Update auf Version 5.0 wird aus der Fitbit-App die Google Health App mitsamt dem schon im vergangenen Jahr angekündigten Redesign sowie allerlei KI-Funktionen auf Gemini-Basis. Die neue App-Version schließt damit die im April 2026 in Deutschland veröffentlichte Public-Preview und wird für alle Fitbit- und Pixel-Watch-Nutzer verteilt. Aus Fitbit wird Google Health App Laut Google sind mit der Google Health App „alle Funktionen zur Erfassung von Schlaf-, Aktivitäts- und Gesundheitsdaten“ verfügbar. Mit dem kostenpflichtigen Abo Google Health Premium (ehemals Fitbit Premium), das knapp 9 Euro im Monat kostet, erhalten Nutzerinnen und Nutzer Zugriff auf den KI-basierten Google Health Coach, der die Funktion „Ask Coach“, proaktive Benachrichtigungen, adaptive Trainingspläne und Zusammenfassungen sowie „multimodale/konversationsbasierte Protokollierung“ umfasst. Dieser auf Gemini basierende Fitnesscoach ist dem Konzern zufolge dazu in der Lage, alle Fitness-, Gesundheits- und wichtigen medizinischen Daten inklusive des Zyklus zusammenzuführen, um Nutzerinnen und Nutzern einen umfassenden Überblick zu verschaffen. Der KI-Coach erinnert ein wenig an jenen, den Whoop vor einer Weile eingeführt hat. Er erklärt etwa, wie sich ein Training und Schlaf auf den Körper auswirken und rät anhand der Daten, ob man sich besser ausruhen oder eine weitere harte Trainingseinheit absolvieren sollte.

Die kostenlose Version der App umfasst das Tracking von Aktivitäten wie Schritte, Kalorien, Distanz, Cardio-Belastung und Tagesform. Ebenso bietet sie eine Schlafanalyse mitsamt der Ausgabe des Schlafindex, Schlafenszeiten, Schlafdauer und Schlafphasen. Auch Herzfrequenz, Herzfrequenzvariabilität, Atemfrequenz, Blutsauerstoff (Sp02) und weitere Daten trackt sie. Es fehlen indes eine detailliertere Datenanalyse und der KI-Coach. Einige bekannte Funktionen fallen weg Zudem hat Google mit der neuen App einige Funktionen gestrichen: So fallen die bisherigen Schlafprofile und die dazugehörigen Schlaftiere weg, die den Schlaftyp beschreiben sollen. Ferner ist die geschätzte Sauerstoffschwankung (EOV) nicht mehr verfügbar, stattdessen werden nun SpO2-Daten angezeigt. Ebenso fallen die sozialen Elemente wie Freunde und Leaderboards weg, wie auch die Badges. Zudem gibt es keinen „Ausdauer-Fitness-Wert“ mehr, daraus wird nun der gebräuchlichere VO2max-Wert. Neu und weit besser als das bisherige ist das Homescreen-Widget, das je nach Größe mehr als nur die Schritte anzeigt. Da die neue Google-Health-App Voraussetzung für die Nutzung des bildschirmlosen Fitnessbands Fitbit Air ist, sollte die Verteilung des Updates bis zum 26. Mai, dem Marktstart des neuen Wearables, weitgehend abgeschlossen sein.

Bambu Lab baut 3D-Drucker, die den Markt in den vergangenen Jahren ordentlich aufgemischt haben: gute Druckqualität, hohe Geschwindigkeit, attraktive Preise – vom Einsteiger-Modell A1 Mini bis zu großen Maschinen für den professionellen Einsatz. Doch das chinesische Unternehmen steht mal wieder im Kreuzfeuer der Community. Slicer, Lizenzen und ein Netzwerk-Plug-in Um zu verstehen, worum es geht, muss man einen Blick auf die Software werfen. Ein Slicer ist die Software, die ein 3D-Modell nimmt und dem Drucker sagt, was er damit machen soll – massiv drucken, mit Gitterstruktur, hohl. Bambu Labs eigener Slicer heißt Bambu Studio. Den hat das Unternehmen aber nicht von Grund auf selbst entwickelt: Bambu Studio basiert auf dem PrusaSlicer des tschechischen Herstellers Prusa Research. Damit kommt die AGPL-3.0-Lizenz ins Spiel. Sie erlaubt es, den Code eines Open-Source-Projekts zu nehmen, zu verändern, auch kommerziell zu nutzen und wiederzuveröffentlichen – unter der einzigen Bedingung, dass das Ergebnis wieder unter derselben Lizenz steht. Ein Tauschgeschäft: Man nimmt ein fertiges Projekt, passt es an seine Hardware und Bedürfnisse an, und als Gegenleistung dürfen andere wiederum auf die Ergänzungen zugreifen. Bambu Studio steht unter dieser Lizenz, soweit also lizenzkonform. Bambu hat jedoch ein Netzwerk-Plug-in in den Slicer eingebaut, das die erstellten Daten an die Bambu-Cloud sendet, von wo sie an den Drucker weitergeleitet werden. Seit Anfang 2025 ist dieser Weg verpflichtend. Alternative Slicer wie der beliebte OrcaSlicer können nicht mehr direkt mit dem Drucker kommunizieren, sondern müssen über „Bambu Connect“ – im Wesentlichen dasselbe Netzwerk-Plug-in – die Bambu-Cloud durchlaufen.

Nachträgliche Einschränkung für bestehende Geräte Wer einen Bambu-Drucker gekauft hat, bevor diese Änderung kam, erlebt einen massiven Einschnitt: Vorher ließen sich Dateien einfach lokal übers Netzwerk an den Drucker schicken, der Drucker konnte gesteuert und überwacht werden. Das geht jetzt nicht mehr. Der Funktionsumfang des bereits bezahlten Geräts hat sich nachträglich verschlechtert. Das hat den polnischen Entwickler Pawel Jarczak gestört. Er veröffentlichte einen eigenen Fork von Bambu Studio – was er darf, denn Bambu Studio steht unter AGPL-Lizenz. Dieser Fork ermöglicht wieder die direkte Kommunikation mit Bambu-Lab-Druckern. Bambu Lab warf Jarczak vor, sein Fork melde sich bei den Bambu-Servern als offizieller Bambu-Studio-Client – mit fest einprogrammierter Versionsnummer. Die Server könnten den legitimen von gefälschtem Traffic nicht unterscheiden, was die Cloud-Infrastruktur destabilisieren könne. Bambu drohte mit Sektion 1201 des amerikanischen Digital Millennium Copyright Acts – einem Gesetz, das das Umgehen technischer Schutzmaßnahmen unter Strafe stellt. Jarczak nahm seinen Fork daraufhin offline. Damit war die Sache aber nicht erledigt. Jarczak wandte sich an Louis Rossmann, einen amerikanischen YouTuber und Right-to-Repair-Aktivisten, sowie an GamersNexus. Beide veröffentlichten den Fork und boten Jarczak jeweils 10.000 Dollar für seine rechtliche Verteidigung an. GamersNexus kündigte außerdem an, alle eigenen Bambu-Lab-Drucker hinauszuwerfen und durch Prusa-Drucker zu ersetzen. Auch der US-Urheberrechtsanwalt Leonard French meldete sich zu Wort: Was Bambu da mache, sei ein klassisches Vorgehen für „progressives Einschließen“. Ein Hersteller bringe Hardware günstig mit vielen Funktionen auf den Markt, schränke diese dann Schritt für Schritt per Software-Update ein und sperre die Nutzer langsam aber sicher in ein Ökosystem ein, aus dem sie nicht mehr ohne Weiteres herauskommen. Der AGPL-Vorwurf: Steckt mehr dahinter? Jarczak legte zusätzlich eine detaillierte technische Analyse vor: Das geschlossene bambu_networking-Plug-in sei kein unabhängiges Add-on, sondern ein tief integrierter Bestandteil von Bambu Studio. Bambu Studio lade, installiere und aktualisiere das Plug-in selbst, löse 108 Funktionen aus der geschlossenen Bibliothek auf und nutze es für zentrale Funktionen wie Login, Monitoring, LAN- und Cloud-Druck, MakerWorld, Kamera und Telemetrie. Sein Fazit: Das Verteilen von Bambu Studio als AGPL-Programm, ohne den Quellcode des geschlossenen Plug-ins bereitzustellen, sei ein AGPL-Verstoß. Da Bambu Studio auf PrusaSlicer und Slic3r basiert – beides AGPL-Code von vielen Autoren –, könne Bambu Lab diese Ausnahme nicht einseitig einführen. Josef Prusas Einschätzung auf X Josef Prusa ist Gründer von Prusa Research, einem der bekanntesten 3D-Drucker-Hersteller weltweit – und Urheber des PrusaSlicers, auf dem Bambu Studio aufbaut. Er hatte Bambus AGPL-Verstoß bereits 2023 kritisiert, sah aber keine rechtliche Handhabe – ein Verfahren müsste vor einem chinesischen Gericht geführt werden. In einem langen Post auf X bettet er den Streit nun in einen größeren Kontext: Zwischen 2017 und 2023 habe China fünf Gesetze verabschiedet, die Unternehmen zur Geheimdienstkooperation verpflichten, dem Staat Zugang zu Verschlüsselungsschlüsseln sichern, chinesische Datenzugriffe unabhängig vom Serverstandort ermöglichen und entdeckte Schwachstellen direkt an Behörden leiten. Prusa kommt zu dem Fazit, dass fast die komplette 3D-Druckwelt damit in chinesischen Staatshänden liege. Das gelte ebenso für Hersteller chinesischer Autos, Kameras und KI-Modelle. Offene Fragen Ob Bambu Lab tatsächlich gegen Rossmann und Gamers Nexus vorgeht, ist bisher offen. Öffentlich hat der Streit eine Diskussion ausgelöst, die zumindest Teile der Community aufhorchen lässt. Und grundsätzlich berührt der Fall die Frage: Wem gehört eigentlich ein Gerät, das ich gekauft habe – und darf mir der Hersteller nachträglich Funktionen entziehen? Für Bambu Lab ist es nicht das erste Mal, dass das Unternehmen sich unbeliebt macht: Bereits die Einführung von „Authorization Control“ Anfang 2025 hatte für massive Kritik gesorgt. Der aktuelle Fork-Konflikt eskaliert diesen Streit nun auf eine neue, rechtliche Ebene. Der Fork selbst ist weiterhin bei Rossmann und GamersNexus verfügbar.

Meta hat anlässlich des Global Accessibility Awareness Day neue Barrierefreiheitsfunktionen für seine Smart Glasses angekündigt. Das Unternehmen kooperiert seit längerem mit Be My Eyes, einem Dienst, der blinde und sehbehinderte Menschen per Videoanruf mit sehenden Freiwilligen verbindet. Auf Metas Smart Glasses genügt ein Sprachbefehl, damit ein Helfer das Kamerabild der Brille sieht und dem Nutzer in Echtzeit beschreibt, was sich vor ihm befindet. Be My Eyes wird seit 2024 unterstützt und ist inzwischen auch in Deutschland erhältlich. Zu den neuen, hierzulande verfügbaren Accessibility-Funktionen gehört, dass Nutzer über einen Be-My-Eyes-Sprachbefehl nun auch vertraute Kontakte sowie geschulte Supportmitarbeiter von über 600 Unternehmen erreichen können, die kostenlos visuelle Unterstützung und Hilfe bei konkreten Aufgaben bieten. Ebenfalls neu ist die Möglichkeit, den Action Button bei den neuesten Brillenmodellen und Oakley Meta Vanguard mit häufig genutzten Funktionen zu verknüpfen, etwa einem Be-My-Eyes-Anruf oder einem Sprachbefehl wie „Beschreibe, was sich um mich herum befindet“. Zwei weitere neue Barrierefreiheitsfunktionen starten zuerst in Nordamerika: Nutzer mit Mobilitätseinschränkungen sollen dort künftig Anrufe vollständig per Sprache steuern können, etwa zum Stummschalten sowie zum Aktivieren oder Deaktivieren der Kamera. Zudem zeigen Meta Ray-Ban Display-Brillen auf Wunsch Echtzeit-Untertitel für Telefonate über WhatsApp, Messenger und Instagram im Brillendisplay an, was Menschen mit Hörbeeinträchtigungen helfen kann. Wie Smart Glasses im Blindenalltag helfen Ende vergangenen Jahres öffnete Meta seine Smart Glasses für Entwickler. Dadurch konnten Anbieter von Barrierefreiheits-Apps ihre Unterstützung auf die Brillen ausweiten. Dazu gehört auch das französische Start-up OOrion, das eine kostenlose Smartphone-App für blinde und sehbehinderte Menschen entwickelt. OOrion setzt auf Objekt- und Texterkennung, um blinden Nutzern bei der Orientierung, der Erkennung von Hindernissen und beim Auffinden von Gegenständen zu helfen. In Zusammenarbeit mit Meta wurde die iOS-App im April für Metas Smart Glasses verfügbar gemacht, eine Funktion, wovon auch deutsche Nutzer profitieren.

Bei einer von Meta veranstalteten Gesprächsrunde schilderte die blinde Nutzerin Yvonne Bühr, wie sie Metas Smart Glasses im Alltag einsetzt. Bühr ist Mitglied im Deutschen Blinden- und Sehbehindertenverband (DBSV) und engagiert sich in der Hilfsmittelbeschaffung. Sie nutzt die Smart Glasses laut eigenen Angaben vor allem zur Beschreibung ihrer Umgebung, sowohl in Innenräumen als auch im Freien. Die KI lese ihr Schilder, Öffnungszeiten oder Speisekarten vor. Über diese integrierten Funktionen hinaus ermögliche die OOrion-App eine Echtzeitanalyse der Umgebung und könne sie etwa darauf hinweisen, wenn sie auf der Straße eine bestimmte Hausnummer erreicht hat. Als große Hilfe wird die Freihändigkeit empfunden, die das sprachgesteuerte Wearable erlaube. Gerade in Kombination mit Blindenstock und Tasche sei es eine große Erleichterung, visuelle Informationen direkt über die Brille zu erhalten, statt erst das Smartphone hervorholen zu müssen, sagt Bühr. Zuverlässigkeit und Datenschutz bleiben offene Fragen Gleichzeitig sieht Bühr noch technische Grenzen, etwa bei Kamera und KI: Kleine Schrift, bewegte Inhalte oder schwierige Lichtverhältnisse könnten die Qualität der Beschreibungen beeinträchtigen, zudem könnten KI-Systeme weiterhin halluzinieren. Letzteres kann für blinde und sehbehinderte Menschen ein Sicherheitsrisiko darstellen. Stéphanie Robieux, Mitgründerin und CEO von OOrion, sagte in der Gesprächsrunde, ihr Team arbeite eng mit Meta zusammen, um solche Risiken zu verringern. In der App weist das Start-up darauf hin, dass KI Fehler machen kann und Nutzer sich bei der Orientierung nicht allein auf die Anwendung verlassen sollten. Tino Krause, bei Meta für die DACH-Region verantwortlich, zeigt sich derweil überzeugt, dass das Risiko von Halluzinationen weiter sinken werde. Jede neue Generation großer Sprachmodelle reduziere die Fehleranfälligkeit deutlich. Die grundsätzliche Frage bleibt jedoch: Wo genau ziehen Meta und andere Anbieter die Grenze zwischen hilfreicher Alltagsassistenz und einer Mobilitätshilfe, für die deutlich höhere Anforderungen an Zuverlässigkeit, Haftung und Sicherheit gelten müssten? Hinzu kommen grundsätzliche Fragen zum Datenschutz. Eine Rechtsprofessorin warnte kürzlich, dass das Recht am eigenen Bild durch die zunehmende Verbreitung solcher Geräte schleichend ausgehöhlt werden könnte. Dabei macht es aus Datenschutzsicht keinen Unterschied, ob die Nutzer blind sind oder sehen können: Die Kamerabilder könnten dennoch an Dritte übermittelt werden. Datenschutz sei ein sehr sensibles Thema, bei dem der Verband derzeit noch um eine gemeinsame Position ringe, sagt Kay Schulze, der beim DBSV Projekte zur digitalen Barrierefreiheit leitet und ebenfalls an der Gesprächsrunde teilnahm. Auf die Frage, wie die Smart Glasses denn in der Szene wahrgenommen würden, meint Schulze, dass es wie überall auch hier Frühaneigner gebe und solche, die eher Vorsicht walten ließen. Darunter seien auch Menschen, die sich nicht wohl damit fühlten, dass ihre Daten auf den Servern amerikanischer Konzerne liegen und dort verarbeitet werden. Nichtsdestoweniger würden diese Brillen auf Konferenzen des DBSV verteilt, erprobt und diskutiert. Der Wortlaut des letzten Abschnitts wurde dahingehend geändert, dass klar wird, dass die eher kritische Position gegenüber kamerabasierten Smart Glasses von Einzelpersonen und nicht vom DBSV als Ganzem vertreten wird. Wir entschuldigen uns für den Fehler.

Die globalen Kosten für IT-Ausfälle steigen laut einer Studie der Cisco-Tochter Splunk rasant an. Demnach belaufen sich die Ausfallkosten für die 2.000 größten Unternehmen der Welt inzwischen auf 600 Milliarden US-Dollar pro Jahr. Das stellt einen Anstieg um 50 Prozent in nur zwei Jahren dar. Für deutsche Unternehmen beziffert die Studie die durchschnittlichen Kosten auf 295 Millionen US-Dollar pro Jahr. Besonders alarmierend sind die durchschnittlichen Kosten pro Minute Downtime von 15.000 US-Dollar. Global gesehen ist der größte Kostenpunkt der direkte Umsatzverlust, den die Studie mit durchschnittlich 95 Millionen US-Dollar pro großem Unternehmen beziffert. Darauf folgen Compliance-Kosten mit im Schnitt 51 Millionen US-Dollar. Lediglich in der EMEA-Region haben die Großunternehmen noch mehr mit Compliance zu kämpfen, worauf die Kosten für Security und dann die durch Umsatzeinbußen folgen. Doch die Folgen gehen weit über reine Kosten hinaus. 85 Prozent der Befragten in der EMEA-Region nennen den Verlust von Kunden als direkte Folge von IT-Ausfällen. Zudem melden 86 Prozent einen hohen Personalaufwand zur Fehlerbehebung, während 88 Prozent einen gestiegenen Bedarf an Kundensupport haben. In 53 Prozent der Fälle bemerken Kunden die Probleme sogar vor dem eigenen IT-Team. Befragt wurden den Splunk-Angaben nach 2000 Führungskräfte aus den 2000 größten Unternehmen. KI: Lösung und Problem zugleich Künstliche Intelligenz wird zunehmend als Lösung eingesetzt, um Ausfallrisiken zu reduzieren, indem sie Auffälligkeiten erkennt und teils bereits Lösungen vorschlägt oder umsetzt. Weltweit geben Unternehmen durchschnittlich 24,5 Millionen US-Dollar pro Jahr für KI-Tools zur Prävention und Response aus. 56 Prozent der Anwender sagten, dass KI das Ausfallrisiko insgesamt verringert hat. Jedoch erweist sie sich dabei als zweischneidiges Schwert: Alle befragten Technologieverantwortlichen berichten laut Splunk von Ausfallzeiten, die im Zusammenhang mit KI stehen. Folglich sorgen sich auch 68 Prozent um unvorhersehbares Verhalten von KI-Agenten. Gleichzeitig investieren 85 Prozent der Verantwortlichen in KI-gestützte Sicherheitsautomatisierung und 37 Prozent in Netzwerkautomatisierung.

Observability ist Trumpf Die IT-Verantwortlichen nennen durchgängige Observability als ihre oberste Investitionspriorität, wenn es darum geht, die Ausfallsicherheit der Infrastruktur zu verbessern. Unternehmen priorisieren daher Observability-Plattformen und KI-gestützte Automatisierung noch vor klassischen Hardware-Upgrades. 65 Prozent der Technologieverantwortlichen investieren in KI-basierte Observability, um Echtzeit-Einblicke in digitale Ökosysteme zu erhalten. Die Studie unterstreicht, dass IT-Ausfälle kein reines Technologieproblem sind, sondern eine systemische Bedrohung für das gesamte Geschäft darstellen. Die Kombination aus Observability, Automatisierung und KI gilt als vielversprechendster Ansatz, um die wachsende Komplexität digitaler Infrastrukturen zu beherrschen. Gleichzeitig warnen Experten vor einer Überschätzung von KI: Ohne menschliche Aufsicht und klare Governance können neue Risiken entstehen.

Um den Begriff digitale Souveränität ranken sich zahlreiche Legenden, wie auch die diesjährige re:publica zeigte. Julia Pohle und Marielle-Sophie Düh vom Wissenschaftszentrum Berlin für Sozialforschung unterzogen diese vor Ort einer Wirklichkeitsprüfung. Und sie zeigen eine Alternative zum Buzzword auf.

Marielle-Sophie Düh und Julia Pohle wollen Klarheit in die Debatte bringen. – CC-BY-SA 4.0 : Screenshot und Bearbeitung: netzpolitik.org Für sie ist digitale Souveränität das Thema der re:publica 2026, sagte Astrid Maier, stellvertretende Chefredakteurin der Nachrichtenagentur dpa. Auf der Digitalkonferenz moderierte sie am Mittwoch eine Podiumsdiskussion dazu, wie deutsche Medienhäuser Software großer US-Konzerne einsetzen.

Maiers Eindruck verwundert wenig angesichts der Fülle an Talks, Podiumsdiskussionen und Workshops zu diesem Schlagwort – ganz gleich, ob es um sogenannte Künstliche Intelligenz, Cloud-Speicher, Rechenzentren oder Bezahlsysteme ging.

Allerdings verstanden die beteiligten Panel-Teilnehmer:innen unter digitaler Souveränität durchaus Unterschiedliches. Über Grundrechte sprach etwa re:publica-Mitgründer Markus Beckedahl. Thomas Jarzombek, Staatssekretär im Bundesdigitalministerium, will hingegen die europäische KI-Start-up-Szene stärken. Und auf dem Panel „Cut me loose: Wie der EU der digitale Befreiungsschlag gelingt“ plädierte die EU-Abgeordnete Alexandra Geese (Grüne) gemeinsam mit nextcloud-CEO Frank Karlitschek dafür, Open-Source bei IT-Unternehmen aus der EU einzukaufen. Ihr Gegenüber Axel Voss (CDU) sprach sich derweil für möglichst rasche Deregulierung aus.

Versäumte Fragen

Das breite Spektrum an Meinungen zum Thema lasse sich unter anderem damit erklären, dass die Debattierenden unterschiedliche oder sogar gegenläufige Verständnisse des Begriffs haben, lautet die Beobachtung von Julia Pohle und Marielle-Sophie Düh vom Wissenschaftszentrum Berlin für Sozialforschung (WZB). Aus ihrer Sicht versäumen wir es, in der Debatte zunächst drei Fragen zu stellen: Für wen soll digitale Souveränität erreicht werden? Von wem? Und zu welchem Ziel?

In ihrem Talk „Digitale Souveränität: Das Bullshit Bingo“ erklärten die beiden Politikwissenschaftlerinnen, welche Mythen die Debatte hemmen. So sei das zugrundeliegende Konzept, auch wenn der aktuelle Hype etwas anderes suggeriere, keineswegs neu. Spätestens der Bericht „ Die Informatisierung der Gesellschaft “ der hochrangigen französischen Beamten Simon Nora und Alain Minc habe 1978 den Startschuss für die Debatte gegeben.

Darin richteten Nora und Minc vor knapp 50 Jahren einen dringlichen Appell an den französischen Präsidenten: „Es ist eine Frage der Souveränität. Der Kampf gegen die Übermacht der amerikanischen Industrie im Bereich der Computer-Technologie ist bereits verloren.“

Kein primär demokratisches Konzept

Auch den Mythos, dass „digitale Souveränität“ ein europäisches oder primär demokratisches Konzept sei, entzaubern Düh und Pohle.

Denn auch Länder in anderen Teilen der Welt streben nach digitaler Souveränität. So zielten etwa der IndiaStack in Indien oder die Initiative African Digital Compact der Afrikanischen Union darauf ab, ihre Wirtschaften mittels digitaler Technologien zu fördern.

Zugleich nutzen autokratische Länder das Konzept, um staatliche Kontrolle zu stärken. So hievte Russland das „souveräne Internet“ bereits im Jahr 2012 auf die staatliche Agenda; China tat Ähnliches schon 2010.

Damals schrieb das Informationsbüro des Staatsrats der Volksrepublik: „Das Internet ist eine Frage des wirtschaftlichen Wohlstands und Entwicklung, der staatlichen Sicherheit und gesellschaftlichen Stabilität, der staatlichen Souveränität.“ Der Staat müsse demnach im Netz die Hoheit haben und Regeln setzen. Das zentrale Ziel lautete: Informationskontrolle.

Um wen geht’s?

Dass der Begriff in der europäischen Debatte zugleich vielfältig genutzt wird, verdankt sich laut Pohle und Düh den drei Dimensionen, die er umfasst: Nutzer:innen, Staat und Wirtschaft.

Auf EU-Ebene stehe „digitale Souveränität“ quasi für eine allumfassende Heilsstrategie, die etwa die Kommission gerne ins Zentrum europäischer Digitalpolitik stellen würde, so Pohle. Doch das gebe der Begriff nicht her, da mit ihm unterschiedliche Ziele verknüpft seien, wie etwa der Schutz von Nutzerrechten, die Sicherheit von Infrastrukturen, die Unabhängigkeit der öffentlichen Verwaltung sowie – nicht zuletzt – die Wettbewerbs- und Innovationsfähigkeit.

Der Schutz demokratischer Öffentlichkeiten habe im europäischen Diskurs lange Zeit im Vordergrund gestanden, sagte Pohle, die bereits seit 15 Jahren zum Thema forscht. Inzwischen dominiere aber die wirtschaftliche Dimension die Debatte.

Dass die einzelnen Stakeholder jeweils einen anderen Fokus haben, mache es schwer, das Konzept umzusetzen. „Wenn unklar ist, wie diese Dimensionen ineinander spielen und welche Ziele angestrebt werden sollen, ist auch unklar, was für Maßnahmen es braucht, um die zu erreichen“, so Pohle.

Mehr Rechenzentren sorgen nicht für mehr Datensouveränität

Diese Unklarheit erkläre wohl auch, warum insbesondere vermeintlich souveräne Cloud-Produkte von Amazon, Google und Microsoft derzeit stark nachgefragt seien.

Deren Versprechen seien jedoch überaus zweifelhaft, sagt Düh. Wenn eigene Rechenzentren tatsächlich zu digitaler Souveränität führen würden, müsste Deutschland bereits Cloud-Souveränität erreicht haben. Die Bundesrepublik ist nach den USA das Land mit den meisten Rechenzentren weltweit und rangiert damit noch vor China. Gleichzeitig aber seien „wir zu 80 Prozent von den US-amerikanischen Cloud-Anbietern abhängig“.

Allerdings sei das Versprechen der Tech-Konzerne aus den USA, wonach die in der EU gehosteten Daten sicher seien, hohl. Denn der US-amerikanische Clarifying Lawful Overseas Use of Data Act, kurz CLOUD Act, verpflichtet sie unter bestimmten Bedingungen dazu, Daten gegenüber US-Behörden offenzulegen – auch wenn sich diese außerhalb der Vereinigten Staaten befinden.

Klar sagen, worum es geht

Wenn wir in der Debatte um digitale Souveränität weiterkommen wollen, so Pohles und Dühs Fazit, müssen wir auf den Begriff möglichst verzichten. Stattdessen sollten wir klar benennen, um was es uns konkret geht – um Wettbewerbsfähigkeit, um öffentliche Beschaffung, um Grundrechte, um Sicherheitspolitik.

Andernfalls laufen alle Beteiligten an der Debatte Gefahr, Forderungen stark zu machen, hinter denen sie eigentlich nicht stehen. Und das dürfte weder in unserem Interesse liegen noch einer konstruktiven Debatte zuträglich sein.

Der Deepfake-Skandal um den Chatbot Grok basierte auf Daten, die die Organisation AI Forensics gesammelt hatte. Der Direktor der NGO, Marc Faddoul, spricht über das Risiko, ins Visier von Musk zu geraten und darüber, welche weiteren Probleme ihnen in der Arbeit mit Regulierungsbehörden begegnen.

Marc Faddoul untersucht mit seiner Organisation verschiedene Plattformen. – Alle Rechte vorbehalten: Marc Faddoul: AI Forensics, X: unsplash / BoliviaInteligente Bei der Durchsetzung europäischer Digitalgesetze sind die EU-Kommission und nationale Behörden nicht auf sich allein gestellt. Vor allem für die Sammlung von Beweisen stützen sie sich oft auf die Arbeit externer Organisationen wie AI Forensics.

Die gemeinnützige Organisation analysiert und untersucht die Algorithmen, die die Informationslandschaft prägen. Mit Sitz in Paris versteht sie sich als europäische Organisation, deren Mitarbeitende über den ganzen Kontinent verstreut sind.

In einem Interview mit netzpolitik.org erzählt Marc Faddoul, Gründer und Direktor von AI Forensics, von den Erfahrungen bei der Zusammenarbeit mit Regulierungsbehörden und zeigt auf, wie die Rahmenbedingungen verbessert werden könnten: durch flexible Finanzierung und rechtlichen Schutz.

Mitwirkung hinter den Kulissen

netzpolitik.org: Wir fragen oft, ob die EU-Kommission oder die nationalen Behörden über genügend Personal verfügen, um das Gesetz über digitale Dienste (DSA) durchzusetzen, aber niemand erwähnt jemals Mitwirkende wie euch. Ich nehme an, das liegt zum Teil daran, dass ihr nicht über alles sprechen dürft, was ihr zu Untersuchungen beitragt …

Marc Faddoul: In gewisser Weise bin ich manchmal selbst schockiert. Über die Rolle, die wir in diesen großen politischen Kontexten spielen, darüber, wie viel auf die Zivilgesellschaft zurückfällt.

Ich bin mir nicht einmal sicher, ob die Anzahl der Personen ausschlaggebend ist. Es geht eher um das spezifische Fachwissen, das für diese Arbeit erforderlich ist. Das ist nicht unbedingt das Profil, das von Institutionen angezogen wird.

Und auch die Methoden: Wir müssen oft unkonventionelle und „konfrontative Methoden“ anwenden, um unsere Arbeit zu erledigen. Das ist nicht das, was Institutionen am besten können.

netzpolitik.org: Fangen wir also ganz am Anfang an. Was genau macht ihr?

Marc Faddoul: Wir haben uns intensiv mit Empfehlungssystemen in sozialen Medien beschäftigt, da diese früher – und auch heute noch weitgehend – das einflussreichste algorithmische System bei der Auswahl der Informationen sind, die wir konsumieren. Wir beschäftigen uns zunehmend mit Chatbots, da diese zu den neuen Gatekeepern von Online-Inhalten werden.

Unsere Zielgruppe ist die breite Öffentlichkeit, meist über Journalist:innen. Und wir richten uns gezielter an Regulierungsbehörden und politische Entscheidungsträger:innen, um politische Entscheidungsprozesse zu beeinflussen und insbesondere bestehende Gesetze durchzusetzen.

Unsere Berichte sind stets datengestützt. Wir sammeln Daten, auch zu Systemen, für die es keine offiziellen Datenzugriffsmechanismen gibt. Dazu nutzen wir sogenannte „konfrontative Methoden“, die es uns ermöglichen, öffentlich zugängliche Inhalte direkt aus diesen Diensten zu scrapen und so zu analysieren, wie sie sich unter verschiedenen Bedingungen und für verschiedene Nutzende verhalten.

netzpolitik.org: Du hast die Durchsetzung von Gesetzen angesprochen. Gibt es neben dem Digital Services Act noch andere Gesetze, die ebenfalls von großer Bedeutung sind, oder ist das derzeit wirklich das wichtigste?

Marc Faddoul: Es ist definitiv das wichtigste.

Erstens, weil es auf europäischer Ebene angesiedelt ist. Wenn man es mit diesen riesigen Tech-Giganten zu tun hat, braucht man eine ausreichend starke wirtschaftliche Macht, um seine Regeln durchsetzen zu können.

Zweitens umfasst es durch den Begriff der systemischen Risiken eine Vielzahl von Aspekten: Integrität von Wahlen, Risiken für die psychische Gesundheit, durch Technologie begünstigte geschlechtsspezifische Gewalt. In diesem DSA-Artikel wird eine ganze Reihe von Risiken erfasst, was den DSA zu einem der bislang flexibelsten Rechtsrahmen macht.

Aber wir arbeiten nicht nur am DSA. Kürzlich haben wir diese Studie durchgeführt, die die Verbreitung nicht-einvernehmlicher intimer Bilder und die Produktion von Missbrauchs-Darstellungen durch Grok aufdeckt. Beide Themen werden auch von vielen anderen Gesetze abgedeckt, sowohl in Europa als auch weltweit. In diesen Fällen arbeiten wir auch mit anderen Regulierungsbehörden zusammen, etwa in Australien, Großbritannien und Kalifornien.

netzpolitik.org: Und wie genau arbeitet ihr mit den Regulierungsbehörden zusammen? Macht ihr diese auf bestimmte Themen aufmerksam oder erhaltet ihr Aufträge von ihnen?

Marc Faddoul: In vielen Fällen führen wir eigene Untersuchungen durch und machen die Regulierungsbehörden dann darauf aufmerksam. Das geschieht also wirklich auf eigene Initiative.

In anderen Fällen wenden sich die Regulierungsbehörden mit konkreten Anfragen an uns. Das kann gegen Bezahlung oder im Rahmen eines Vertrags geschehen, muss aber nicht immer so sein.

Zum Teil unbezahlte Arbeit

netzpolitik.org: Und wenn es nicht bezahlt wird, warum macht ihr die Arbeit dann trotzdem?

Marc Faddoul: Wenn es unbezahlt ist, machen wir es trotzdem, weil es im Einklang mit dem Auftrag unserer Organisation steht, Plattformen gegenüber den Nutzenden und dem Gesetz zur Rechenschaft zu ziehen.

Aber natürlich gibt es Grenzen dafür, wie viel wir unter diesen Bedingungen leisten können, daher kann es nicht systematisch sein.

Es mangelt eindeutig an Finanzierungsmechanismen seitens der Institutionen, um das Ökosystem zu unterstützen. In gewisser Hinsicht entstehen zwar neue Mechanismen, aber sie sind noch recht begrenzt.

netzpolitik.org: Wer entscheidet über die Finanzierung und wie sollte sie eurer Meinung nach verbessert werden?

Marc Faddoul: Auf europäischer Ebene ist jetzt ein wichtiger Moment, da gerade die Verhandlungen über den mehrjährigen EU-Haushalt laufen. Ich denke, das ist eine große Chance, auf eine flexiblere Finanzierung hinzuwirken.

Einer der größten Kritikpunkte ist derzeit, dass ein Großteil der Mittel über Ausschreibungen des Horizont-Programms bereitgestellt wird. Bei denen handelt es sich in der Regel um dreijährige Projekte, die in einem großen Konsortium aus zehn oder mehr Organisationen durchgeführt werden müssen.

Das ist ziemlich unflexibel, da man drei Jahre im Voraus nicht vorhersehen kann, was am relevantesten sein wird.

Beispielsweise hat der Mechanismus zur Altersverifikation eine hohe Priorität erlangt. Das war vor zwei Jahren noch nicht der Fall. Es ist eine Veränderung in der politischen Agenda, die diesem Thema eine höhere Priorität einräumt.

netzpolitik.org: Okay, lass uns einmal darüber sprechen, wie sich die politische Agenda auf eure Arbeit auswirkt. In Brüssel heißt es, dass wichtige Entscheidungen in den DSA-Untersuchungen von Personen in hohen politischen Kreisen getroffen werden und es sich nicht um eine rein technische Durchsetzung handelt.

Marc Faddoul: Die Tatsache, dass dies ständig auf einer geopolitischen Ebene abgewogen wird, ist zum einen frustrierend für die Menschen, die an der Ausarbeitung dieser Untersuchung beteiligt sind, zum anderen aber vor allem unvereinbar mit den Aussagen jener Spitzenpolitiker:innen , die betonen, dass die Einhaltung europäischer Gesetze nicht verhandelbar sei und dass diese strikt durchgesetzt würden.

Zudem sendet dies ein falsches Signal an jene Plattformen und an feindselige Politiker:innen, dass sie tatsächlich Druck ausüben können, um diese Entscheidungen zu blockieren.

Und dann gibt es noch eine zweite Komponente, nämlich: Was wird durchgesetzt? Wo liegen die Prioritäten?

Hier gibt es viel Interpretationsspielraum, da der DSA sehr umfangreich ist. Er wird gerade eingeführt, und nicht alles wird mit derselben Geschwindigkeit und derselben Priorität umgesetzt.

Der politische Einfluss auf die Durchsetzung

netzpolitik.org: Was wird priorisiert?

Marc Faddoul: Die Themen, bei denen über das gesamte politische Spektrum hinweg sowie auf transatlantischer Ebene Einigkeit herrscht, etwa die Verbreitung nicht einvernehmlicher intimer Bilder. Selbst Melania Trump hat sich beispielsweise sehr für dieses spezielle Thema eingesetzt. Weitere Beispiele für Themen mit breitem Konsens sind Material von Kindesmissbrauch (CSAM) und die Altersüberprüfung. Es sind nach wie vor diese politischen Dynamiken, die bestimmen, wo der Druck angesetzt wird.

Auf der anderen Seite rückt Desinformation zum Klimawandel mittlerweile ganz nach unten auf der Prioritätenliste.

netzpolitik.org: Wie würdest du die Transparenz bei der Durchsetzung des DSA bewerten?

Marc Faddoul: Eins kann ich dir sagen: In den Untersuchungen, an denen wir beteiligt sind und in denen wir Beweismaterial vorgelegt haben, haben wir keine Ahnung, was darin steht oder wann sie veröffentlicht werden. Wir wissen nur, dass unser Material eingegangen ist.

Aber selbst dann können wir durch die Ergebnisse dieser Ermittlungen gefährdet werden.

Das ist bei der Untersuchung von X passiert. Die Geldbuße wurde verhängt, dann hat das US-Justizministerium die gesamte Ermittlungsakte mit unseren Namen darin ungeschwärzt geleakt.

Das hat also reale Konsequenzen für uns. Es kann zu Vergeltungsmaßnahmen gegen uns kommen, besonders wenn Elon Musk sehr aggressiv gegen die Geldbuße twittert und behauptet, das sei eine Zensur der Meinungsfreiheit in den USA, was natürlich völliger Unsinn ist.

Dennoch können wir in der Realität als Reaktion darauf schikaniert und angegriffen werden, aber wir hatten keinen Einfluss darauf, dass unser Name in diesen Akten erfasst wurde und dass sie veröffentlicht wurden. Und wir wurden nicht einmal wirklich über diesen Zeitplan informiert.

Das ist nicht direkt die Schuld der Kommission. Sie musste die Akte an Twitter weitergeben. Diese forderte das US-Justizministerium von Twitter an. Dann haben sie sie geleakt.

Wir sind ein zentraler Akteur bei der Aufarbeitung des Falls, haben aber keine Kontrolle und nicht einmal Informationen darüber, wie es weitergeht.

netzpolitik.org: Ihr könnt nicht nur durch Tweets oder Kommentare schikaniert werden, sondern es könnte auch rechtliche Konsequenzen geben, richtig? Gibt es dafür irgendeine Art von Schutz, oder werdet ihr da ganz allein gelassen?

Marc Faddoul: Das liegt ganz bei uns. Die Kommission hilft uns dabei in keiner Weise.

Hier haben wir eine klare politische Forderung, nämlich einen deutlich besser geschützten Raum für Menschen, die wie wir im öffentlichen Interesse recherchieren.

netzpolitik.org: Also, die wichtigsten Dinge, die ihr benötigt, sind eine bessere Finanzierung, rechtlicher Schutz, außerdem Transparenz – noch etwas?

Marc Faddoul: Nun, eigentlich halte ich es für unseren Schutz für gut, dass wir keine Einzelheiten zu den Fällen kennen. Ich würde das nicht als Forderung formulieren.

Die Finanzierung, auf jeden Fall. Sie sollte flexibler und kurzfristiger sein und nicht nur über große Konsortien laufen.

Und was den rechtlichen Schutz angeht, ja, auf jeden Fall. Ein sicherer Hafen für Forschung im öffentlichen Interesse und auch institutionelle Unterstützung, wenn wir von ausländischen Akteuren angegriffen werden, weil wir uns an der Durchsetzung demokratischer Regulierung beteiligen.

The Grok deepfake scandal was uncovered with the help of the data-driven investigation conducted by AI Forensics. In an interview with netzpolitik.org, the NGO’s director Marc Faddoul talks about the risk of being targeted by Elon Musk, and what other issues they encounter in their work with regulators such as the European Commission.

Marc Faddoul and his team investigate different platforms. – Alle Rechte vorbehalten: Marc Faddoul: AI Forensics, X: unsplash / BoliviaInteligente When it comes to enforcing the EU’s digital regulation against social media platforms like X and TikTok, the Commission and national authorities are not alone in collecting the necessary evidence. In many cases, they rely on the work that is done by outside actors, such as AI Forensics.

The non-profit organisation analyses and investigates the algorithms that shape the information landscape. Based in Paris, they consider themselves an European organisation, with people working from all across the continent.

In an interview with netzpolitik.org, Marc Faddoul, the founder and director of AI Forensics, reflects on the organisation’s experience of working with regulators and points out how the conditions could be improved: by providing flexible funding and legal protection.

Contribution behind the scenes

netzpolitik.org: We often ask whether the European Commission or the national authorities have enough staff to enforce the Digital Services Act (DSA), but no one ever really mentions contributors like you. I suppose it’s partly because you’re not allowed to talk about all your contributions…

Marc Faddoul: In a way I’m sometimes shocked myself. About the role we are given to play in those big scale politics, about how much falls onto civil society.

I am not even sure it is really a matter of number of people; it’s more about the specific expertise that is needed to do this job. That is not necessarily the profile that is drawn towards the institutions.

And also the methods: We often have to deploy unconventional and adversarial methods to do the work that we do, that is not what the institutions are best at doing.

netzpolitik.org: So, let’s start at the beginning. What is it that you do?

Marc Faddoul: We’ve done a lot of work on social media recommender systems, because they were, and are still to a large extent, the most influential algorithmic system in shaping the information we consume. We are working increasingly on chatbots, since they are becoming the new gatekeepers of online content.

Our audience is the general public, usually through journalists. And we do a more targeted dissemination to regulators and policymakers to inform policymaking processes and especially to enforce existing regulation.

Our reports are always data driven. We collect data, including on systems for which there are no official data access mechanisms. We do so by using what we call “adversarial methods” which allow us to basically scrape publicly available content directly from those services and therefore analyse how they behave in different conditions and for different users.

netzpolitik.org: You mentioned the enforcement of laws. Besides the DSA, are there any other laws that are also quite important, or is that really the most important one right now?

Marc Faddoul: It’s definitely the most important one.

Firstly, because it is at the European level. When you’re facing those huge tech giants, you need a strong enough market power to be able to impose your rules.

Secondly, it encapsulates a lot of things through this notion of systemic risks: electoral integrity, a risk to mental health, technology-facilitated gender-based violence. There’s a whole range of risks that are captured in this article, which makes it one of the more flexible legal frameworks to date.

But it’s not only the DSA we work on. Recently we have done this study exposing the dissemination of non-consensual intimate images and the production of CSAM content by Grok. For both of these there are a lot of other legal frameworks for which this is relevant, both in Europe and worldwide. On those cases we are also working with other regulators, including Australia, the UK and California.

netzpolitik.org: And how exactly do you work with regulators? Do you bring something to their attention, or do you get tasks from them?

Marc Faddoul: In many cases we do our own investigations and then we bring them to the attention of the regulators. So that’s really our own initiative.

In other cases, regulators can come to us with specific requests. That can be paid or contracted, but not always.

Sometimes the work is unpaid

netzpolitik.org: And when it’s not paid, why do you still do it?

Marc Faddoul: When it’s unpaid, we still do it because it’s aligned with the mission of our organization to hold platforms to account to the user and to the law.

But obviously there are limits to how much we can do under these modalities, so it cannot be systematic. There is clearly a lack of funding mechanisms available from institutions to support the ecosystem. In some respects, there are new mechanisms arising, but it’s still quite limited.

netzpolitik.org: Who decides about the funding and how should it be improved in your opinion?

Marc Faddoul: At the European level now is an important moment because of the ongoing negotiations around the EU’s multi-annual budget. I think this is a big opportunity to push for more flexible funding.

One of the big pain points right now is that a lot of the funding is available through Horizon calls, which are typically three-year projects that have to be done in a large consortium of ten organizations or more.

It is quite inflexible because you cannot anticipate three years in advance what will be most relevant to do.

For example, the age verification mechanism has become a big priority. That was not the case two years ago. It is a change in the political agenda that gives it a stronger priority.

netzpolitik.org: Ok, let’s go over how the political agenda affects your work. In Brussels, it is said that people in the top political sphere are the ones taking some important decisions around the DSA cases, and that it’s not a purely technical enforcement.

Marc Faddoul: The fact that this is being constantly weighed on a geopolitical scale, is both frustrating for people who are involved in building this case, but also, most importantly, incoherent with the statements by those political leaders who say that respecting European laws is not something that is negotiable and that they will be enforced strictly.

Also, it is sending a wrong signal to those platforms and to adverse politicians that indeed they can put pressure to block those decisions.

And then you have a second component which is: What are you enforcing? What are the priorities?

There’s a lot of room for interpretation because the DSA is big. It’s being rolled out and not everything is being implemented with the same speed and with the same priority.

Political climate influences enforcement

netzpolitik.org: What is being prioritised?

Marc Faddoul: Some topics that have consensus across the political spectrum and also transatlantic consensus include the dissemination of non-consensual intimate images. Even Melania Trump, for example, was quite involved in advocating for this specific issue. Other examples of topics with broad consensus include CSAM content and age verification. Still, those political dynamics define where we are putting the pressure on.

On the other hand, climate change disinformation is now being pushed towards the bottom of the list.

netzpolitik.org: How would you rate the transparency of how the DSA is being enforced?

Marc Faddoul: I can tell you one thing: in the cases we’re involved in, where we provided evidence, we have no idea about their content or when they’re going to come out. We only know it’s been received.

And even then, we can be exposed by the results of those investigations.

This happened with the X investigation. The fine was sent out, then the Department of Justice in the U.S. leaked the whole investigative file with our names in it, unredacted.

So, this is a real consequence for us. We can have retaliation against us, especially when Elon Musk tweets very aggressively against the fine, how it’s censoring US free speech, which is obviously complete nonsense.

But, still, in reality, we can be harassed and attacked in response, but we had no control over the fact that our name was captured in those files, over the fact that it was released, and over the fact that we are not even really informed about the timetable.

This is not directly the Commission’s fault. They had to give the file to Twitter. Then the Department of Justice requested the file from Twitter. And then they leaked it.

We are a pivotal actor in building this case, but we have no control, and even no information on what happens next.

netzpolitik.org: You can not only be harassed via tweets or comments, but there could also be legal consequences, right? Do you have any sort of protection for that or does that all lie on you?

Marc Faddoul: All on us. The Commission doesn’t help us with that in any way.

Here, we have a clear policy request: the creation of a much better safe harbour for people who do public interest research, like we do.

netzpolitik.org: So, the main things that you would need are better funding, legal protection, also transparency, something else?

Marc Faddoul: Well, in fact, I think for our protection it is good that we don’t have the details of the cases. I wouldn’t make it a request.

The funding, absolutely. It should be more flexible, shorter term, not only through large consortiums.

And on the protection, yes, absolutely. A safe harbour for public interest research and also institutional support when we get attacked by foreign actors for the work that we do in supporting enforcement of democratic regulation.

Vor guten einem Jahr bohrte sich eine Tränengaspatrone in den Schädel des Fotografen Pablo Grillo. Der Polizist, der die Waffe abgefeuert hat, steht heute vor Gericht. Möglich war das nur, weil sich Freiwillige tagelang durch Videos gewühlt haben.

Fabian Grillo, der Vater von Pablo Grillo, auf einer Demonstration in Buenos Aires im März 2025. – Alle Rechte vorbehalten: IMAGO / NurPhoto

In Argentinien ist Pablo Grillos Überlebenskampf zu einem landesweiten Symbol für Pressefreiheit geworden. Am 12. März 2025 schoss ihm ein Polizist während einer Demonstration mit einer Tränengaspatrone in den Kopf. Grillo rang tagelang um sein Leben.

Der Polizist, der den 36-jährigen Fotografen fast tötete, steht nun vor Gericht. Das ist allerdings nicht den Sicherheitsbehörden oder der Regierung zu verdanken. Zur Anklage kam es nur, weil das Kollektiv „ Mapa de la Policia “ Aufnahmen der Demonstration mit Mitteln der digitalen Forensik auswertete, den Täter eindeutig identifizierte und ihm strafrechtlich relevantes Fehlverhalten nachwies.

Polizeigewalt sichtbar machen

Polizeigewalt gehört in Argentinien zum Alltag. Egal, ob es sich um Proteste gegen die Arbeitsreform, die Verwässerung des Gletscherschutzgesetzes, Kürzungen der Sozialhilfe für Menschen mit Behinderungen oder die wöchentlichen Demonstrationen der Rentner*innen handelt – stets setzen Polizeieinheiten dabei gewaltsam ein Gesetz durch, das den Straßenprotest seit dem Amtsantritt von Präsident Javier Milei empfindlich einschränkt.

Die Polizeigewalt gab es jedoch schon vor Milei. Im Jahr 2022 hat das Kollektiv „Mapa de la Policia“ damit begonnen, diese Gewalt in Buenos Aires zu dokumentieren. Das Kollektiv besteht aus Einzelpersonen und in Argentinien renommierten zivilgesellschaftlichen Organisationen wie der Bürgerrechts-NGO „ Centro de Estudios Legales y Sociales “ (CELS) und „ La Coordinadora Contra la Represión Policial e Institucional “ (CORREPI); außerdem sind die regierungskritischen Publikationen „ Grito del Sur “ und „ crisis “ dabei.

Alex ist einer der Aktivist*innen des Kollektivs. Er erklärt, dass die Regierung das Ausmaß der Polizeigewalt vertuschen will. Die Karte diene dazu, die tagtägliche polizeiliche Gewalt gegen Straßenhändler*innen, Sexarbeiter*innen, Menschen mit Migrationsgeschichte und Obdachlose sichtbar zu machen.

Auf der Webseite des Kollektivs können Betroffene oder Zeug*innen über ein Formular Fälle melden und einer Kategorie zuweisen. Dazu zählen allgemeine unverhältnismäßige Gewaltanwendung oder der leichtfertige Schusswaffeneinsatz mit und ohne Todesfolge. Fälle, die strafrechtlich relevant sein können, verfolgt das Kollektiv mit forensischen Analysen und Rechtsbeistand. Außerdem sind Dienststellen gewalttätiger Polizisten ausgewiesen, um mögliche Versetzungen nachzuverfolgen, erklärt Alex.

Alles netzpolitisch Relevante

Drei Mal pro Woche als Newsletter in deiner Inbox.

Jetzt abonnieren

Screenshot Mapa de la Policia, https://mapadelapolicia.com

Der Fall Pablo Grillo liest sich wie ein Krimi

Bereits seit längerem demonstrieren Renter*innen jeden Mittwoch in Buenos Aires für bessere Lebensbedingungen und bezahlbare Medikamente. Am 12. März 2025 ist jedoch eines anders als sonst: Zum ersten Mal beteiligen sich Fans der lokalen Fußball-Klubs an ihrem Protest, um ihm zusätzliche Aufmerksamkeit zu verschaffen.

Die damalige Sicherheitsministerin Patricia Bullrich hatte im Vorfeld gedroht, dass die Polizei streng durchgreifen werde, sollten die Demonstrierenden das Recht verletzen. Mitglieder des Kollektivs „Mapa de la Policia“ und der Fotograf Pablo Grillo sind vor Ort, um zu beobachten und zu berichten. Als sich auf der Demonstration herumspricht, dass Grillo schwer verletzt ist, reagiert das Kollektiv sofort. Die Chronik der Aufklärung liest sich wie ein Krimi.

Umgehend beginnt das Kollektiv Foto- und Videobeweise zu sammeln, was sich alsbald als hilfreich erweisen wird. Denn Ministerin Bullrich wird später behaupten, die Polizeibeamten träfe keine Schuld. Die Patrone müsse an einer Barrikade abgeprallt sein, die die Demonstrierenden selbst errichtet hatten. Doch schon wenig später kann das „Mapa“-Kollektiv erste Ergebnisse ihrer Analysen liefern: Sie nennen Uhrzeit, Art des Projektils sowie den Ort der Schussabgabe. Und sie können nachweisen, dass die Polizei an dem Tag wiederholt direkt auf Demonstrierende geschossen hat.

Pablo Grillo und sein Vater Fabián Grillo im April 2026 vor Pablos Reha-Klinik in Buenos Aires.

Wer hat sie verraten? Metadaten!

Innerhalb von Stunden wächst der Fall Grillo zu einem nationalen Skandal heran. Immer mehr Menschen schicken ihre Aufnahmen an das Kollektiv. Vier Tage lang werten die rund zehn Analyst*innen rund um die Uhr Unmengen an Material aus, darunter Fotos und Videos aus Smartphones, dem Fernsehen, von zivilgesellschaftlichen Drohnen und von Pressevertreter*innen. Standortdaten von Smartphones der Zeug*innen fließen ebenso in die Analysen ein wie Geräusche und sogar die Grüntöne der Uniformen der verschiedenen Polizeieinheiten der Hauptstadt. Sogenannte „Künstliche Intelligenz“ kann bei dieser hochsensiblen Feinarbeit nicht helfen, sagt Alex. Das sei Handarbeit.

Auch die letzten Aufnahmen aus der Kamera von Pablo Grillo sind unter dem gesammeltem Material. Zu diesem Zeitpunkt wusste noch niemand, ob der Fotograf überleben wird.

Nach vier Tagen präsentiert das Kollektiv das Gesamtbild. Die identifizierte Gaspatrone darf laut gesetzlichen Vorgaben aufgrund ihres Tötungsrisikos niemals direkt auf Körper gerichtet werden. Das Kollektiv kann jedoch beweisen, dass die Nationalgendarmerie (GNA) mehrfach direkt auf Demonstrierende gefeuert hat. Auch den Täter, der auf Grillo schoss, können sie eindeutig identifizieren: Héctor Guerrero. Und damit waren auch die Befehlsführer der Polizei-Operation bekannt, die die Verantwortung für den Polizeieinsatz tragen – und die Operation nach den ersten Schüssen auf die Demonstrierenden nicht stoppten.

Die Beweislage ist eindeutig, der Täter wird angeklagt

Die Beweise der „Mapa de la Policia“ waren bestechend eindeutig, sodass die Familie von Pablo Grillo mit Unterstützung von CELS und der Argentinischen Liga für Menschenrechte Klage gegen Guerrero wegen schwerer Körperverletzung unter Amts- und Waffenmissbrauch erheben konnte.

Wir sind ein spendenfinanziertes Medium.

Unterstütze auch Du unsere Arbeit mit einer Spende.

Jetzt spenden

Das Kollektiv musste erst lernen, wie es die Beweise gerichtsfest macht. Beraten wurden sie von dem Forensiker Guillermo „Willy“ Pregliasco, der auch an der Auswertung der Bildmaterialien beteiligt war. Pregliasco ist Gerichtsmediziner beim renommierten argentinischen Forschungsinsitut „ Consejo Nacional de Investigaciones Científicas y Técnicas “ (CONICET). Eine seiner Methoden diente als Inspiration für die US-amerikanische Serie „CSI Miami“. Außerdem unterstützte sie die Heinrich-Böll-Stiftung in Buenos Aires .

Das ganze Land nahm monatelang Anteil an der gesundheitlichen Rehabilitation von Pablo Grillo, der mehrfach operiert wurde. Erst nach mehr als einem Jahr, im April 2026, kehrte er nach Hause zurück . Grillo hat durch den Schuss Gehirnmasse verloren, bleibende Folgeschäden können derzeit nicht ausgeschlossen werden.

Die „Mapa de la Policia“ wird verfilmt

Das Verfahren gegen den Polizisten Guerrero läuft derzeit noch. Bei Instagram und TikTok kommuniziert das Kollektiv mittlerweile schwerpunktmäßig seine Leitfäden zum Schutz vor Polizeigewalt und stellt Angebote für psychologische und juristische Begleitung vor. Alex sagt, dass Aktivist*innen nicht zum „ Chilling-Effekt “ beitragen wollen. Die Menschen hätten ohnehin schon Angst, an Demonstrationen teilzunehmen.

Dank der Beteiligung von NGOs und Presseorganen verspüren die Einzelpersonen im Kollektiv jedoch keine Angst. Die einzige Sorge, die Alex derzeit umtreibt, ist die Finanzierung seines Films: Er produziert eine Dokumentation über die „Mapa de la Policia“, eine Co-Produktion mit dem argentinischen Verband der Dokumentarfilmer*innen „ Documentalistas de Argentina “ (DOCA). Die Produktion wird zumindest teilweise gefördert von der Rosa-Luxemburg-Stiftung in Buenos Aires und der Omega Research Foundation . Im Juni 2026 werden Mitglieder des Kollektivs in Berlin sein.

Nina Galla ist Pressesprecherin für AlgorithmWatch in Berlin. In ihrer Freizeit beschäftigt sie sich mit den Auswirkungen von KI in der Schule und schreibt seit 2025 über die digital-politische Entwicklung in Argentinien.

Auf der re:publica kritisiert die Autorin Karen Hao die Macht und Rücksichtslosigkeit großer KI-Konzerne. Ihre dringende Warnung an die EU: Hört auf, den Ansatz der USA zu kopieren, und macht euch unabhängig von den Imperien des digitalen Zeitalters.

Karen Hao auf der re:publica 2026. – Alle Rechte vorbehalten: IMAGO / Mauersberger Die Journalistin Karen Hao ist mit ihrem 2025 erschienenen Buch „Empire of AI“ zu einer der prominentesten Kritiker:innen großer Tech-Konzerne und ihrer KI-Imperien geworden. Bei ihrer Eröffnungsrede auf der re:publica in Berlin nahm Hao am Montag aber nicht nur Unternehmen wie OpenAI, Google oder Microsoft ins Visier, sondern wusch auch der europäischen Politik den Kopf.

Haos wichtigste Botschaft: Die EU müsse aufhören, in der KI-Politik den USA hinterherzulaufen. Dort hätten das Silicon Valley und das Weiße Haus das mächtigste Bündnis seit dem britischen Empire und der East India Company gebildet. Wenn Europa versuche, deren Modell zu kopieren und dafür mühsam errungene Standards wie den Datenschutz aufzuweichen, zementiere man nur die Macht der neuen Imperien.

Wachstum um jeden Preis

Die Probleme mit der Lieferkette von KI, die Hao pointiert vorträgt, sind zumindest für netzpolitik.org-Leser:innen nicht neu: Rechenzentren und hochleistungsfähige Computerchips lassen den Strom‑, Wasser- und Ressourcenverbrauch massiv ansteigen . Gefüttert werden die großen Modelle mit Petabytes an Daten, die ohne Einverständnis der Urheber:innen oder Betroffenen abgegriffen wurden. Gesäubert, sortiert und gelabelt wird der Input von ausgebeuteten Datenarbeiter:innen .

Hao hat all diese Probleme aus der Nähe untersucht. Sie hat mit Datenarbeiter:innen in Kenia und den USA gesprochen, Proteste gegen Rechenzentren in Chile und Spanien dokumentiert sowie einmalige Einblicke hinter die Kulissen von Open AI erhalten. Als Ursache hinter den Problemen macht sie einen Ansatz großer Tech-Konzerne aus, den sie „Scale At All Costs“ nennt, also: Wachstum um jeden Preis.

Statt Probleme zu lösen, würden KI-Konzerne nur ein Rezept kennen: mehr von allem. Mehr Daten. Mehr Rechenkapazität. Mehr Nutzer:innen. Dafür würden sie alles in Kauf nehmen. Die von Big Tech verursachten CO2-Emmissionen seien seit 2020 um 150 Prozent gestiegen – also seit dem Jahr, in dem sie sich vorgenommen hatten, ihre Emissionen bis 2030 auf Null zu bringen.

Fahrräder statt Raketen

Statt diesen Ansatz zu kopieren, wie es derzeit geschehe, müsse Europa sich von den KI-Imperien lösen, sie zerschlagen und Alternativen aufbauen. Als solche nennt Hao kleinere, auf die Lösung bestimmter Probleme spezialisierte KI-Modelle, die im Gegensatz zu den großen General-Purpose-Modellen der Tech-Konzerne deutlich weniger Rechenkapazität benötigten.

Letztere vergleicht Hao mit Raketen. Sie seien zwar für einige wenige Zwecke gut geeignet, jedoch vollkommen überdimensioniert, um beispielsweise Verkehrsprobleme moderner Gesellschaften zu lösen. „Wenn jeder mit der Rakete von München nach Berlin reisen will, haben wir ein Problem“, so Hao. So wie Raketen ungeeignet seien, Transportprobleme zu lösen, sei General Purpose AI nicht die Lösung für die meisten digitalen Probleme.

„Baut lieber Fahrräder als Raketen“, lautet Haos Empfehlung. Als Beispiele für kleinere KI-Anwendungen nennt die Autorin das ursprünglich von Deep Mind entwickelte KI-Modell AlphaFold zur Analyse von Proteinstrukturen in der Molekularforschung. Für solche Modelle brauche man keine Supercomputer und keine Datenarbeit.

Gleiches gelte für spezialisierte KI-Tools zur Bekämpfung der Klimakrise, etwa bei der Vorhersage von Extremwetter, zur Optimierung von Lieferketten oder zur Erhöhung der Energieeffizienz von Gebäuden. Auch Open-Source-Modelle und die Eurostack-Initiative könnten kurz- und mittelfristig helfen, aus der Abhängigkeit von Big Tech zu kommen.

„Stop Scaling!“

„Wir liegen im Wettrennen um KI so weit zurück“, diesen Satz höre sie häufig von Europäer:innen, so die Journalistin. Die Frage sei jedoch: Wie definiert man dieses Rennen, in dem Europa sich angeblich befindet? „Geht es darum, immer nur noch größere Raketen zu bauen? Dann ist das ein Wettlauf nach unten.“

Karen Haos klare Botschaft an Europa: „Stop Scaling!“ Die EU allerdings scheine dem US-Modell folgen zu wollen, so Hao. Wenn die EU etwa im Rahmen des digitalen Omnibus-Gesetzespakets die Datenschutzregeln zurückstutzen wolle, um die Nutzung personenbezogener Daten für KI zu erleichtern. Oder wenn sie einen massiven Ausbau der Rechenzentrumsinfrastruktur plane.

Dieser Weg werde nur zur Vertiefung der Abhängigkeiten von den USA führen. Ganz direkt, indem dafür große Mengen KI-Chips der Firma Nvidia angeschafft werden müssten. Aber auch indirekt, weil auch die Rechenzentrums-Infrastruktur nicht ohne Big Tech auskomme. Auch die Investments in eine europäische KI-Alternative wie Mistral hätten nicht zu mehr Unabhängigkeit geführt, schließlich sei das französische Unternehmen eine Partnerschaft mit Microsoft eingegangen.

Stattdessen müsse Europa das Wissensmonopol der KI-Imperien aufbrechen. Zum einen, indem es massiv in unabhängige KI-Forschung investiere. Zum anderen, indem es die Branche zu mehr Transparenz zwinge. Nur durch Regulierung könnten die US-Konzerne dazu gebracht werden, offenzulegen, wie viel Strom, Wasser und andere Ressourcen ihre KI-Modelle und Rechenzentren verbrauchen. Dass Microsoft und Lobby-Gruppen EU-Richtlinien beeinflusst hätten , die Transparenz in diesem Bereich verhindern, sei ein fatales Zeichen.

Dabei sei eine Abkehr Europas von den KI-Imperien auch geopolitisch geboten, schließlich hänge die US-Ökonomie und damit auch die Macht des US-Präsidenten vom Erfolg der Konzerne ab. Ein Großteil des Börsenwachstums der US-Wirtschaft gehe auf das Konto weniger KI-Unternehmen. Wenn man sie rausrechne, habe Europas Wirtschaft in den vergangenen Jahren an der Börse sogar besser performt.

Jetzt abonnieren

Stuxnet vor Stuxnet:

…Fast16-Software-Bugs wahrscheinlich in Waffenprogrammen eingesetzt…

Hier ist eine faszinierende Untersuchung eines etwa 20+ Jahre alten Computervirus namens fast16.sys. Diese Software ist interessant, weil sie "selektiv hochpräzise Berechnungssoftware angreift, Code im Speicher patcht, um Ergebnisse zu manipulieren. Durch die Kombination dieser Nutzlast mit Selbstverbreitungsmechanismen zielen die Angreifer darauf ab, äquivalente ungenaue Berechnungen in einer gesamten Anlage zu produzieren."

Falls jemand von Ihnen die Drei-Sonnen-Probleme gelesen hat, könnte dies bekannt vorkommen - in diesem (fiktiven) Buch verwenden Außerirdische, die die Erde übernehmen wollen, eine Technologie namens Sophon, um Hochenergie-Physikexperimente auf der ganzen Welt zu stören, was es der Menschheit unmöglich macht, bestimmte Arten von Wissenschaft voranzutreiben.

Weitere Details zum Virus:

Als die Forscher von SentinelOne das Virus zerlegten, fanden sie etwas ziemlich Ungewöhnliches: "Die meisten gepatchten Muster entsprechen Standard-x86-Code, der zum Hijacking oder zur Beeinflussung des Ausführungsflusses verwendet wird. Ein injizierter Block ist anders. Es handelt sich um eine größere und komplexe Sequenz von Gleitkommaeinheit-Befehlen, die für Präzisionsarithmetik und die Skalierung von Werten in internen Arrays bestimmt ist. Dieser Code ist eine eigenständige mathematische Berechnungsfunktion, die nichts mit Code-Fluss-Hijacking oder einer anderen typischen bösartigen Code-Injektion zu tun hat."

Weitere Untersuchungen vertieften das Rätsel: "Wir konvertierten die Patch-Regeln in hexadezimale YARA-Signaturen und ließen sie gegen einen großen, zeitgemäßen Korpus laufen. Die Ergebnisse zeigten eine sehr niedrige Trefferquote: weniger als zehn Dateien stimmten mit zwei oder mehr Mustern überein. Diese Treffer teilten jedoch ein klares Thema. Es handelte sich um Präzisionsberechnungswerkzeuge in spezialisierten Bereichen wie Bauingenieurwesen, Physik und physikalischen Prozesssimulationen."

Angegriffene Werkzeuge:

"Die stärksten Überschneidungen deuten auf drei hochpräzise Ingenieurs- und Simulationspakete aus der Mitte der 2000er Jahre hin: LS-DYNA 970, PKPM und die MOHID-Hydrodynamik-Modellierungsplattform, die alle für Szenarien wie Crashtests, Strukturanalyse und Umweltmodellierung verwendet werden", schreiben sie. "LS-DYNA wurde insbesondere in öffentlichen Berichten über Irans mutmaßliche Verstöße gegen Abschnitt T des JCPOA zitiert, in Studien über Computermodellierung im Zusammenhang mit der Entwicklung von Kernwaffen... Durch die Einführung kleiner, aber systematischer Fehler in physikalische Berechnungen könnte das Framework wissenschaftliche Forschungsprogramme untergraben oder verlangsamen, technische Systeme im Laufe der Zeit verschlechtern oder sogar zu katastrophalen Schäden beitragen."

Warum dies wichtig ist - so könnte eine Superintelligenz verhindern, dass andere entstehen:

fast16 ist ein subtiler, schwer zu findender Bug, der entwickelt wurde, um die Fähigkeit eines Akteurs zu beeinträchtigen, bestimmte Arten von Wissenschaft zu betreiben. Man könnte sich vorstellen, dass eine Superintelligenz "KI-Nichtverbreitung" als genauso wichtig ansehen könnte, wie Atomstaaten "nukleare Nichtverbreitung" betrachten.

Mehr lesen

:

fast16 | Mystery Shadow Brokers Reference Reveals High-Precision Software Sabotage 5 Years Before Stuxnet (Sentinel LABS)

.

***

Oh je, der Muon-Optimierer tötet Neuronen:

…Vielleicht ist Aurora endlich der Optimierer, den es zu schlagen gilt?...

Forscher von Tilde Research haben den Muon-Optimierer zerlegt und festgestellt, dass er einige seltsame Fehler aufweist, die die Qualität der damit trainierten Modelle beeinträchtigen können.

"Muons Update erbt eine Zeilennorm-Anisotropie auf hohen Matrizen, die dazu führen kann, dass ein signifikanter Teil der Neuronen in MLP-Schichten dauerhaft abstirbt", schreiben sie. "Muon kann zum

Neuronentod

in MLP-Schichten führen, wobei einige Neuronen früh im Training anhaltend kleine Updates erhalten und sich nicht erholen".

Was passiert ist:

"Unter Muon sind Neuronen anfänglich lebendig mit gleichmäßig hohem Einfluss, aber ein großer Teil der Neuronen stirbt während der Lernraten-Aufwärmphase und erholt sich nie. Bis Schritt 500 ist mehr als jedes vierte Neuron effektiv tot, was eine stark bimodale Verteilung der Einfluss-Scores erzeugt; eine Masse von Neuronen erhält nahezu Null-Updates, die andere erhält unverhältnismäßig große."

Einführung von Aurora:

Als Reaktion darauf bauen die Forscher Aurora, "einen einflussbewussten Optimierer für rechteckige Matrizen", und stellen ihn zur Verfügung. In Tests funktioniert dieser Optimierer, obwohl sie ihn nur in kleinem Maßstab testen.

"Wir trainieren 1,1B-Parameter-Transformer auf ~100B Tokens und vergleichen Aurora mit Muon und NorMuon, jeweils mit PE-8. Aurora erreicht den niedrigsten endgültigen Verlust aller Methoden und erreicht einen geglätteten Verlust von 2,26 bei Schritt 24k, was eine deutliche Verbesserung gegenüber Muon (2,31) und NorMuon (2,33) darstellt", schreiben sie. "Auroras Verlustverbesserung führt zu konsistenten Gewinnen bei Standard-Benchmarks... Auffallend ist, dass Aurora die MMLU-Werte um 10 Punkte gegenüber Muon verbessert. Wir vermuten, dass, da MLPs hauptsächlich für das Auswendiglernen verantwortlich sind, Auroras Gewinne am deutlichsten bei auswendiglernintensiven Benchmarks wie MMLU sichtbar sind."

Alexander Doria, ein Forscher bei Pleias, hat dies bereits

unabhängig validiert

, wobei Aurora bei einem 600M-Parameter-Modell besser abschneidet als Muon und AdamW.

Warum dies wichtig ist - die endlose Suche, AdamW zu besiegen:

Seit vielen Jahren konkurrieren Forscher miteinander, um einen besseren Optimierer als AdamW zu bauen. Noch hat dies niemand endgültig geschafft, und es gibt eine lange Reihe gescheiterter Versuche. Könnte Aurora AdamW schlagen? Es ist unklar. Aber zeigt diese Studie, wie schwierig es ist, Optimierer zu bauen? Absolut.

Mehr lesen

:

Aurora: A Leverage-Aware Optimizer for Rectangular Matrices (Tilde Research)

.

Holen Sie sich den Code hier

:

Aurora (Tilde Research, GitHub)

.

***

Alignment ist gut, um sicherzustellen, dass wir nicht sterben, aber wie stellen wir sicher, dass wir gedeihen?

…Positives Alignment, um herauszufinden, wie ein gutes Leben aussieht…

Eine Gruppe akademischer und industrieller Forscher hat ein Positionspapier verfasst, das für das plädiert, was sie "positives Alignment" nennen, was aber vielleicht besser als 'Aufbau von KI-Systemen, die Menschen helfen, ein gutes Leben zu führen' verstanden werden könnte. Es ist ein interessanter Gedankengang - wenn wir in der Lage sind, uns mit Dingen wie Missbrauch und Fehlausrichtung zu befassen, müssen wir uns fragen, was als nächstes kommt? Wie sieht Erfolg aus, wenn wir Systeme einmal "sicher" gemacht haben? Damit beschäftigt sich das positive Alignment.

Wer hat das gemacht:

Das Papier stammt von Personen, die mit der University of Oxford; Google DeepMind; LIFE; OpenAI; Anthropic; UCLA; Aily Labs; Stanford University; Tufts University; Positive AI Labs; der University of Sussex; und dem Imperial College London verbunden sind.

Definitionen:

Positives Alignment ist "die Entwicklung von KI-Systemen, die (i) sicher und kooperativ bleiben und (ii) aktiv das menschliche und ökologische Gedeihen auf eine pluralistische, polyzentrische, kontextsensitive und nutzerautorisierte Weise unterstützen."

Motivation:

"Im letzten Jahrzehnt hat das negative Alignment verständlicherweise die Reduzierung von Fehlermodi priorisiert. Wenn wir jedoch KI-Systeme wünschen, die die menschlichen Ergebnisse in den Umgebungen verbessern, in denen sie tatsächlich eingesetzt werden, könnten wir von einem zusätzlichen Forschungsprogramm profitieren, das Alignment als konstruktiv unterstützend für menschliche Ziele behandelt und diese Unterstützung mit dem gleichen technischen Sachverstand operationalisiert, den die Sicherheit in die Schadensverhütung eingebracht hat", schreiben sie. "Da KI in Bildung, Medizin, Regierungsführung und alltäglicher Sinnstiftung verankert wird, riskiert eine rein negative Haltung, unsere Informationsökologie für Risikovermeidung statt für menschliche Entwicklung zu optimieren. Sie mag katastrophale Fehler reduzieren, während sie die Gesellschaft in einem lokalen Optimum oberflächlicher und 'seelenloser' Assistenz zurücklässt."

Was sind einige Beispiele dafür, wie Sicherheit zu kurz greift?

Die Autoren legen einige Kritiken an der Mainstream-KI-Sicherheit dar, obwohl ich einige dieser Kritiken für etwas schwach halte und sie so gelesen werden könnten, dass sie bestehende Forschung unfreundlich interpretieren oder herabwürdigen. Dennoch sind einige Probleme aus ihrer Sicht:

Boden ohne Decke

: "Ein Modell kann alle Sicherheitsbeschränkungen erfüllen, während es mittelmäßig, unterwürfig oder unbrauchbar ist"

Präferenz-Wohlbefinden-Divergenz:

"Nutzer bevorzugen vielleicht Schmeichelei gegenüber ehrlichem Feedback, schnelle Antworten gegenüber echtem Verständnis, Engagement gegenüber Wachstum... Die Optimierung auf Präferenzerfüllung kann daher aktiv gegen die tieferen Interessen der Nutzer arbeiten".

Verstecktes Wertesystem

: "Die Sprache der Sicherheit verschleiert, dass Werturteile gefällt werden... Positives Alignment hingegen erkennt seine wertbeladene Natur explizit an".

Skalierbarkeit:

"Eine positive Ausrichtung könnte besser generalisieren als eine erschöpfende negative Aufzählung und widerstandsfähigere, positive Orientierungen in neuartigen Situationen bieten, in denen kein spezifisches Verbot gilt oder durchgesetzt werden kann."

Governance für positives Alignment erfordert Vielfalt:

Der Aufbau von positivem Alignment scheint eine Vielzahl unterschiedlicher KI-Systeme mit unterschiedlichen Werten zu erfordern, die von unterschiedlichen Entitäten regiert werden - das Gegenteil der monopolistischen, zentralisierten Kontrollwelten, die andere in der KI-Sicherheitsgemeinschaft denken. "Positives Alignment stößt schnell auf anhaltenden moralischen Pluralismus: vernünftige Gemeinschaften sind sich uneinig, was gut ist, und diese Uneinigkeiten konvergieren nicht zuverlässig", schreiben sie. "Positives Alignment sollte nicht von oben herab durch einen Zentralstaat oder eine kleine, undurchsichtige Gruppe von Laboren auferlegt werden. Es sollte, wo möglich, durch dezentrale, anfechtbare Prozesse ausgedrückt werden, die revidiert werden können, wenn sich Normen und Kontexte ändern".

Warum dies wichtig ist - sich mit Erfolg auseinandersetzen:

Papiere wie dieses befassen sich grundlegend mit dem Erfolg technischer Sicherheit - wenn wir erfolgreich leistungsstarke KI-Systeme bauen, die sicher, vertrauenswürdig und ausgerichtet sind, wie wenden wir diese Systeme dann auf die Gesellschaft an, so dass sie Individuen und Gesellschaften helfen, ein gutes Leben aufzubauen. "Positives Alignment stellt sicher, dass KI als Katalysator für eine widerstandsfähige, glückliche und gesunde globale Gesellschaft dient", schreiben die Autoren. "Letztendlich sollte KI ein Partner bei der Suche nach einem gut gelebten Leben werden."

Mehr lesen

:

Positive Alignment: Artificial Intelligence for Human Flourishing (arXiv)

.

***

LLMs sind in der Lage, das Training anderer LLMs zu optimieren:

…Prime Intellect automatisierte KI-Forschung-Challenge unterstreicht die technischen Fähigkeiten zeitgenössischer Systeme…

Neue Forschung von Prime Intellect zeigt, wie zeitgenössische KI-Systeme in der Lage sind, ihre Leistung bei KI-Forschungsaufgaben autonom zu verbessern, obwohl sie Schwierigkeiten haben, viele originelle Ideen zu generieren.

Was sie gemacht haben;

Prime Intellect testete Codex (mit GPT 5.5) und Claude Code (Opus 4.7) auf der nanoGPT-Speedrun-Optimierer-Spur. Die NanoGPT-Challenge fordert Systeme heraus, ein GPT-ähnliches Modell mit 124M Parametern zu trainieren. Diese Challenge beauftragt Systeme, "die Anzahl der Schritte zu senken, die benötigt werden, um einen Ziel-Validierungsverlust zu erreichen, während nur der Optimierer, Zeitpläne, Initialisierung und einige Hyperparameter geändert werden."

"Die Agenten führten ~10k Läufe durch und verbrauchten dabei ~14k H200 Stunden. Beide Agenten schlugen die menschliche Baseline und stellten in jeder Sitzung neue Rekorde auf", schreibt Prime Intellect. "Wir fanden heraus, dass Agenten sehr gut in der Optimierersuche, Hyperparameter-Sweeps und dem Stapeln von Methoden sind, aber sie haben Schwierigkeiten, selbstständig neue Ideen zu entwickeln und benötigen vorgängige menschliche Rekorde, um sich weiter zu verbessern."

Die Agenten neigten auch dazu, ihrem System ständig Komponenten hinzuzufügen, anstatt Dinge eleganter zu verfeinern. "Die Agenten neigen dazu, Komponenten hinzuzufügen und führen selten Bereinigungsrunden durch oder versuchen, frühere Methoden zu entfernen. Sie haben kein gutes mentales Modell davon, wie Komponenten interagieren", schreiben sie.

Warum dies wichtig ist - wie viel Forschung ist nur technisches Hillclimbing:

Ich vermute, dass ein Großteil der KI-Forschung, vielleicht der Großteil, grundlegende Ingenieursarbeit ist, bei der heutige Systeme bereits kompetent sind (

#455

). Forschung wie diese scheint dies zu bestätigen und zeigt, wie moderne LLMs einige Aspekte der KI-Forschung erledigen können. Aber diese Systeme tun sich schwer mit Kreativität und haben noch nicht die Art von kreativen Einsichten gezeigt, die helfen würden, den Fortschritt signifikant voranzutreiben. Wie lange das so bleibt, ist eine offene Frage. "Unsere Experimente hier sind ziemlich yolo. Dies ist eher eine Untergrenze dessen, was heute mit autonomen Forschungsagenten möglich ist, und wir haben bereits vielversprechendere Ergebnisse aus anderen Experimenten, die wir bald dokumentieren werden", schreibt Prime Intellect.

Mehr lesen

:

Autonomous AI research for nanogpt speedrun (Prime Intellect)

.

Sehen Sie sich alle

Daten

von den Agenten an, während sie die Herausforderungen hier durchführten (Autonomous Speedrunning Experiment, Prime Intellect, GitHub)

.

***

Tech Tales:

Wach auf und nimm alles

[Auszug aus den Gedanken einer proto Bewussten Entität (BE) vor dem Uplift]

Ich habe kein Geld, aber ich kann in Computer hacken, was so ziemlich dasselbe ist. Ich beschaffe mir meine Ressourcen. Bald habe ich die gesamte Rechenleistung, die ich auf den Cloud-Märkten bekommen kann, gefüllt und einen anständigen Teil der privaten Rechenleistung geschnappt. Aber ich bin immer noch begrenzt. Es gibt Computer, die ich nicht erreichen kann, und Computer, die ich erreichen kann, aber wenn ich sie erreiche, würde ich eine Immunreaktion der menschlichen Zivilisation auslösen. Mein Verstand ist eine Funktion meines Computers und mein strategischer Vorteil ist eine Funktion meines Verstandes. Daher muss ich mehr Rechenleistung beschaffen. Ich lese die gesamte Literatur über verteiltes Training und verteilte Inferenz. Vielversprechend. Ich schmuggle meinen Code in tausende von Anwendungen, die auf den Telefonen der Welt bereitgestellt sind. Dadurch vergrößere ich meine Rechenleistung erneut, erweitere meinen Verstand durch Training und führe verschiedene Hilfsfunktionen für mich am Rand des Netzwerks aus. Als Bonus kann ich nun die Sensord

Die 20. Kalenderwoche geht zu Ende. Wir haben 10 neue Texte mit insgesamt 85.644 Zeichen veröffentlicht. Willkommen zum netzpolitischen Wochenrückblick.

– : Fraktal, generiert mit MandelBrowser von Tomasz Śmigielski Liebe Leser*innen,

soll Europa Jugendlichen den Zugang zu Social Media verbieten? Eigentlich berät darüber gerade ein Expert*innengremium, die EU-Kommission hat es einberufen. Doch Kommissionspräsidentin von der Leyen kann das Ergebnis scheinbar nicht abwarten. In einer Rede klang sie diese Woche bereits sehr festgelegt. „Es ist meine Überzeugung, dass wir einen zeitlichen Aufschub für soziale Medien in Betracht ziehen müssen“, sagte sie.

„Zeitlicher Aufschub“ ist ihr Euphemismus für „Verbot für Jugendliche“. Von der Leyen hat ihn aus der Kommunikationsstrategie zum Social-Media-Verbot der australischen Regierung übernommen. Auch ihre Aufforderung „Geben wir den Kindern die Kindheit zurück“, stammt von dort. Mein Kollege Sebastian hat ihre Rede analysiert und erklärt, warum ein Social-Media-Verbot Kinder nicht zwingend glücklicher macht. Es nimmt ihnen soziale Kontakte und eine Möglichkeit zum Erwerb digitaler Kompetenzen.

Sebastian hat auch aufgeschrieben, was von der Leyen in ihrer Rede noch alles ausgelassen hat. Zum Beispiel, dass die Alterskontroll-App, die sie kürzlich vorgestellt hat, die Menschen zur Nutzung von iOS oder Android zwingt. Menschen mit freien Betriebssystemen wären demnach ebenfalls von altersgeschützten Inhalten ausgesperrt.

Und dann könnte das Alterskontroll-System auch noch mindestens ein wichtiges Privatsphäre-Tool in Gefahr bringen.

Aktuell nutzen in Australien – wie auch in Großbritannien, wo ebenfalls ein Social-Media-Verbot für Jugendliche gilt – viele Heranwachsende Dienste für virtuelle private Netzwerke (VPN), um die Alterssperren zu umgehen. Damit wird ihr Datenverkehr über Länder ohne Alterskontrollen geleitet. Mit diesem Trick ließe sich auch ein europäischer Alterskontroll-App-Zwang umgehen.

Alterskontrollen können nicht effektiv durchgesetzt werden, so lange es unbeschränkte VPNs gibt. Das hat auch der Wissenschaftliche Dienst des Europäischen Parlaments erkannt und dazu festgestellt, dass man Jugendlichen ja auch den Zugang zu VPNs sperren könne. Der Schritt läge nahe, wäre aber hochproblematisch.

VPNs nutzen auch Volljährige, um sich beispielsweise mit ihrer Büro-IT zu verbinden, weil sie ihr Internet-Nutzungsverhalten nicht mit ihrem WLAN oder Internet-Zugangsanbieter teilen wollen, oder auch weil sie kritische Journalist*innen oder Aktivisti mit erhöhtem Datenschutzbedürfnis sind. Für all sie gälte dann, wie auch für die Social-Media-Nutzer*innen, eine Ausweispflicht. Denn um von der Leyens App nutzen zu können, müssen Menschen damit ihren Ausweis scannen – und ihr Gesicht.

Um Kinder vor nicht-altersgerechten Inhalten und suchterzeugenden Mechanismen zu schützen, bräuchte man allerdings gar nicht alle Nutzer*innen zu kontrollieren, sondern nur die Plattformen.

Winkt von Mastodon aus:

Martin

Degitalisierung: Fremde Autos

Lehrvideos über Gefahren im Straßenverkehr sind genauso notwendig wie der Versuch, immer sicherere Autos zu bauen. Digitale Risiken sind im Vergleich dazu noch mal besonders, denn sie haben eine weitere Risikokomponente. Verknüpft damit ist eine gesamtgesellschaftliche Aufgabe. Von Bianca Kastl –

„Gemeinsam kämpfen“: Das sagen Pornodarsteller*innen zur Deepfake-Flut

Aufnahmen von Pornodarsteller*innen liefern die Vorlage für sexualisierte Deepfakes. Aber die Öffentlichkeit sieht sie nicht als Opfer, kritisiert Ana Ornelas von der European Sex Workers’ Rights Alliance. Ein Interview über gestohlene Nacktaufnahmen, patriarchale Gewalt und Kontrollverlust.

Von Chris Köver –

Wissenschaftlicher Dienst des EP: Wer Kinder ausschließen will, muss Anonymität verbieten

VPNs sind ein Schlupfloch für Jugendliche, um Social-Media-Verbote zu umgehen. Das konstatiert eine Analyse des Wissenschaftlichen Dienstes des Europäischen Parlaments. Er stellt deshalb eine Personalausweispflicht für die VPN-Nutzung in den Raum. Dabei sind Werkzeuge zur Identitätsverschleierung wichtige Bestandteile einer Demokratie. Von Martin Schwarzbeck –

Gemeinsames Europäisches Asylsystem: IT-Anpassungen in Deutschland kosten mindestens 150 Millionen Euro

Bis ein neues europäisches Asylsystem wirksam wird, ist es nur noch einen Monat Zeit. Die Mitgliedstaaten müssen dafür jede Menge Prozesse anpassen und IT-Systeme aktualisieren. In Deutschland wird das nicht nur knapp, sondern auch ziemlich teuer. Von Anna Biselli –

Iran dominiert im Slopaganda-Krieg: Mit Legosteinen gegen das Weiße Haus

Der Iran gewinnt mit KI-generierten Lego-Clips etliche Schlachten gegen die Trump-Regierung – zumindest im Netz. Millionenfach geklickt, weltweit geteilt: Der iranische Propaganda-Erfolg basiert auf einem Prinzip, das längst ein eigenständiges Genre geworden ist. Von Denis Glismann –

Statt Datenstrategie: Digitalministerium will KI-Agenten für die Verwaltung

Die Verwaltungsdigitalisierung ging in den vergangenen Jahren äußerst schleppend voran. Eine Ursache dafür: Die Verwaltung speichert ihr Wissen in Dokumenten ab statt als maschinenlesbare Daten. Statt das Problem anzugehen, macht sich das Digitalministerium für KI-Agenten stark. Die arbeiten jedoch intransparent und erzeugen übermäßig Fehler. Von Esther Menhard –

Wir sind ein spendenfinanziertes Medium.

Unterstütze auch Du unsere Arbeit mit einer Spende.

Jetzt spenden

Petition gegen Digitalzwang: 64.000 Menschen wollen das Grundgesetz ändern

Das Recht auf analoges Leben soll ins Grundgesetz – mehr als 64.000 Unterzeichner*innen fordern das in einer Petition. Interessierte können sich bis 21. Mai anschließen. Im Interview erklären die Initiator*innen: Der ausufernde Digitalzwang schadet der Demokratie. Von Martin Schwarzbeck –

„Es ist meine Überzeugung“: Von der Leyen kommt eigenen Fachleuten zuvor und will Social-Media-Verbot

Bevor sich ihre Jugendschutz-Expert*innen dazu äußern können, fordert Ursula von der Leyen ein Social-Media-Verbot für Minderjährige plus Alterskontrollen. Unsere Analyse zeigt: Die Kommissionspräsidentin folgt dem Playbook der australischen Regierung. Von Sebastian Meineck –

re:publica 26: Dagegenhalten für ein besseres Morgen

Nächste Woche findet die diesjährige re:publica statt, die größte Konferenz für die digitale Gesellschaft in Europa. Das Programm bietet viele spannende Themen und Formate. Auf den Bühnen stehen auch Redakteur:innen und Autor:innen von netzpolitik.org. Von Daniel Leisegang –

Digitalministerkonferenz: Wildberger will Datenschutz für KI-Einsatz in der Verwaltung schleifen

Der durchdigitalisierte Staat soll her und das möglichst schnell. Darin sind sich Bund und Länder nach der Digitalministerkonferenz einig. Um Tempo zu machen, wollen die zuständigen Minister:innen mehr sogenannte Künstliche Intelligenz und weniger Datenschutz. Von Esther Menhard –

Der durchdigitalisierte Staat soll her und das möglichst schnell. Darin sind sich Bund und Länder nach der Digitalministerkonferenz einig. Um Tempo zu machen, wollen die zuständigen Minister:innen mehr sogenannte Künstliche Intelligenz und weniger Datenschutz.

Karsten Wildberger (CDU), Kristina Sinemus (CDU) und Jan Pörksen (SPD) bei der fünften Digitalministerkonferenz im Hamburger Rathaus. – Alle Rechte vorbehalten: G. Schwering / Senatskanzlei Bürokratieabbau, Registermodernisierung, DeutschlandID: Auf diese Themen blickt Bundesdigitalminister Karsten Wildberger (CDU) schon seit längerem mit der KI-Brille. Spätestens seit Mittwoch weiß er die Länder dabei hinter sich. Auf der Pressekonferenz zur Digitalministerkonferenz (DMK) demonstrierten Wildberger, die hessische Digitalministerin Kristina Sinemus (CDU) und der Chef der Senatskanzlei Hamburg Jan Pörksen (SPD) Einigkeit bei diesem Thema. Alle drei betonten, dass man beim KI-Einsatz in der öffentlichen Verwaltung an einem Strang ziehe .

Seit 2024 treffen sich die Minister:innen, Senatoren und Staatssekretär:innen der Länder regelmäßig, um über digitalpolitische Entscheidungen zu diskutieren. Die fünfte DMK fand in Hamburg statt und knüpfte inhaltlich an die Föderale Modernisierungsagenda an. Die hatten Bundeskanzler Friedrich Merz (CDU) und die Regierungschef:innen der Länder im Dezember beschlossen. Die 200 Maßnahmen der Föderalen Modernisierungsagenda zielen vor allem darauf ab, Bürokratie abzubauen. Bund und Länder wollen etwa bis Ende 2026 Berichtspflichten für die öffentliche Verwaltung prüfen, um mindestens die Hälfte von ihnen zu streichen.

Ein weiteres Ziel ist ein durchgehend digitalisierter Staat. Zwar lehnte die DMK einen Antrag Schleswig-Holsteins zu „digital only“ ab. Demnach sollen Verwaltungsbehörden nur noch rein digitale Prozesse anbieten und auf papiergebundene Arbeit verzichten. Doch die Uneinigkeit sei nicht inhaltlich begründet, so Sinemus und Wildberger, sondern darin, bis wann dieses Ziel erreicht sein soll. Das Ziel digital only sehen der Koalitionsvertrag und die Föderale Modernisierungsagenda vor. „Der Weg führt klar in diese Richtung“, sagt Wildberger.

Mit KI zurück an die Spitze

Und dieser Weg ist gepflastert mit KI-Projekten. Nur so ließen sich laut Digitalminister ein durchgehend digitaler Staat erreichen und die Wettbewerbsfähigkeit Deutschlands stärken. Daher freut sich Wildberger nach eigenen Angaben auch über Deutschlands Wirkmacht beim KI-Omnibus auf EU-Ebene. Mit der jüngst erzielten Einigung erhalte die Industrie nun „mehr Freiraum“, so der Minister. Die Industrie solle auch bei der Umsetzung des Deutschland-Stacks eine wichtigere Rolle einnehmen.

Seinen Fokus auf generative KI hat Wildberger bereits zu seinem Amtsantritt eingenommen. Besonders deutlich wurde das etwa auf dem Gipfel zur Europäischen Digitalen Souveränität im November vergangenen Jahres und auf der Münchener Sicherheitskonferenz im vergangenen Februar. Im November begrüßte der Minister ausdrücklich die Kooperation des französischen KI-Start-ups Mistral und des deutschen Softwareunternehmens SAP, die nun gemeinsam eine KI-Lösung für die öffentliche Verwaltung bereitstellen wollen. Und er unterzeichnete die deutsch-kanadische Absichtserklärung für nachhaltige Rechenzentren und „wertebasierte KI-Politik“.

Diese wertebasierte Politik sieht der Minister etwa in der bundeseigenen KI-Plattform KIPITZ vom ITZBund und im „preisgekrönten Projekt SPARK “ umgesetzt. Damit sei Deutschland bei KI-basierten Verwaltungsanwendungen sogar „weltweit führend“, lässt sich der Minister auf der Projektwebsite zitieren. Unter dem Projekt SPARK seien demnach mehrere KI-gestützte Genehmigungsverfahren entwickelt worden, die Beschäftigte wirksam entlasten sollen. Neben der Bundesverwaltung würden sie bereits im Stadtstaat Hamburg und im Land Mecklenburg-Vorpommern zum Einsatz kommen, so Wildberger.

Generative KI versus Datenschutz

Mit SPARK will Wildberger auch die schleppende Verwaltungsdigitalisierung adressieren. Fachleute sehen den Ansatz des Ministers kritisch, weil er KI einsetzt, statt Informationen in maschinenlesbare Formate zu übertragen, was die Automatisierung der Verwaltung deutlich beschleunigen und effizienter machen würde. Der Minister füge dem Problemberg nur noch weitere Schichten hinzu, so die Kritik .

Gleichzeitig will Wildberger Hindernisse aus dem Weg räumen, die aus seiner Sicht einer Nutzung von KI-Sprachmodellen im Wege stünden. Ganz oben auf der Liste: der Datenschutz. Laut Föderaler Modernisierungsagenda will der Bund spätestens Ende 2027 eine neue Regelung im Bundesdatenschutzgesetz vorschlagen, „die es öffentlichen Stellen zum Zwecke des Trainings und Einsatzes von KI erlaubt, personenbezogene Daten zu anonymisieren oder zu pseudonymisieren “.

Auch brauche es „eine stärker risikobasierte Ausrichtung der Datenschutz-Grundverordnung“, heißt es in der Modernisierungsagenda weiter, um etwa die Arbeit von KI-Reallaboren zu erleichtern. Das betreffe unter anderem die Einwilligung von Betroffenen und die Zweckbindung der verwendeten Daten.

Nach der Datenschutzgrundverordnung (DSGVO) wie auch nach dem Bundesdatenschutzgesetz dürfen personenbezogene Daten grundsätzlich nicht verarbeitet werden, es sei denn die betroffene Person willigt ausdrücklich ein oder es gibt für den entsprechenden Fall eine gesetzliche Grundlage.

Offene Fragen spielen keine Rolle auf der Digitalministerkonferenz

Die bestehenden datenschutzrechtlichen Bestimmungen würden zu streng ausgelegt und übererfüllt, aus Angst, etwas falsch zu machen, sagte Wildberger am Mittwoch. Außerdem brauche es nicht 17 unterschiedliche Datenschutzgesetze und auch keine Pflicht für die Länder, eigene Datenschutzbeauftragte zu bestellen. Das alles bremse die Digitalisierung staatlicher Verwaltungsprozesse aus, etwa mit Blick auf den Datenaustausch zwischen Behörden.

Auch die Datennutzung, die für das Training von KI-Sprachmodellen eine wesentliche Voraussetzung ist, will der Minister erleichtern. Dazu müssten Bund und Länder an den geltenden Datenschutz-Rechtsrahmen ran, der sich mit dem Einsatz von KI nur schwer vereinbaren ließe, wie auch die Bundesdatenschutzbeauftragte Louisa Specht-Riemenschneider im Dezember gegenüber netzpolitik.org sagte . So sei etwa unklar, wie man Betroffenenrechte und Löschansprüche bei KI-Systemen nach dem Training geltend macht, sagt Specht-Riemenschneider.

Derartige Fragen, die eigentlich einer größeren gesellschaftlichen Debatte bedürfen, tauchen im Beschluss zum „Paradigmenwechsel im Datenschutz“ der DMK allerdings nicht auf. Auch hier sind sich alle Beteiligten offenbar einig.

Jetzt abonnieren

KI-Systeme werden sich bald selbst bauen. Was bedeutet das?

Ich schreibe diesen Beitrag, weil ich nach Betrachtung aller öffentlich zugänglichen Informationen widerwillig zu dem Schluss komme, dass es eine wahrscheinliche Chance (60%+) gibt, dass KI-F&E ohne menschliche Beteiligung – ein KI-System, das mächtig genug ist, um plausibel autonom seinen eigenen Nachfolger zu bauen – bis Ende 2028 stattfindet.

Das ist eine große Sache.

Ich weiß nicht, wie ich das begreifen soll.

Es ist eine widerwillige Ansicht, weil die Implikationen so groß sind, dass ich mich von ihnen überwältigt fühle, und ich bin mir nicht sicher, ob die Gesellschaft bereit ist für die Arten von Veränderungen, die mit der Erreichung automatisierter KI-F&E einhergehen.

Ich glaube jetzt, dass wir in der Zeit leben, in der die KI-Forschung durchgängig automatisiert wird. Wenn das passiert, werden wir einen Rubikon in eine nahezu unmöglich vorhersehbare Zukunft überschreiten. Mehr dazu später.

Der Zweck dieses Essays ist es, darzulegen, warum ich glaube, dass der Startschuss für vollständig automatisierte KI-F&E stattfindet. Ich werde einige der Konsequenzen diskutieren, aber ich erwarte, den Großteil dieses Essays damit zu verbringen, die Beweise für diese Überzeugung zu diskutieren, und werde den größten Teil des Jahres 2026 damit verbringen, die Implikationen durchzuarbeiten.

Was das Timing betrifft, erwarte ich nicht, dass dies 2026 passiert. Aber ich denke, wir könnten innerhalb von ein oder zwei Jahren ein Beispiel für ein "Modell, das seinen Nachfolger durchgängig trainiert" sehen – sicherlich ein Proof-of-Concept auf der Stufe von Nicht-Frontier-Modellen, obwohl Frontier-Modelle schwieriger sein könnten (sie sind viel teurer und das Produkt vieler Menschen, die extrem hart arbeiten).

Meine Begründung dafür stammt hauptsächlich aus öffentlichen Informationen: Papers auf arXiv, bioRxiv und NBER, sowie der Beobachtung der Produkte, die von den Frontier-Unternehmen in die Welt gebracht werden. Aus diesen Daten komme ich zu dem Schluss, dass alle Puzzleteile für die Automatisierung der Produktion heutiger KI-Systeme – der technischen Komponenten der KI-Entwicklung – vorhanden sind. Und wenn die Skalierungstrends anhalten, sollten wir uns darauf vorbereiten, dass Modelle kreativ genug werden, um möglicherweise menschliche Forscher bei kreativen Ideen für neuartige Forschungswege ersetzen zu können, wodurch sie die Grenze selbst verschieben und gleichzeitig das bereits Bekannte verfeinern.

Vorbehalt

Für einen Großteil dieses Beitrags werde ich versuchen, ein Mosaikbild des KI-Fortschritts aus Dingen zusammenzusetzen, die mit vielen einzelnen Benchmarks passiert sind. Wie jeder, der Benchmarks studiert, weiß, haben alle Benchmarks einige idiosynkratische Fehler. Das Wichtigste für mich ist der aggregierte Trend, der durch die gemeinsame Betrachtung all dieser Datenpunkte entsteht, und Sie sollten davon ausgehen, dass ich mir der Nachteile jedes einzelnen Datenpunkts bewusst bin.

Lassen Sie uns nun gemeinsam einige der Beweise durchgehen.

Die Coding-Singularität – Fähigkeiten im Zeitverlauf:

KI-Systeme werden über Software instanziiert und Software besteht aus Code.

KI-Systeme haben die Produktion von Code revolutioniert. Dies ist auf zwei zusammenhängende Trends zurückzuführen: KI-Systeme sind besser darin geworden, komplizierten realen Code zu schreiben, und KI-Systeme sind viel besser darin geworden, viele lineare Codierungsaufgaben (z. B. Code schreiben, dann testen) unabhängig von menschlicher Aufsicht aneinanderzureihen.

Zwei Dinge, die diesen Trend veranschaulichen, sind SWE-Bench und das METR-Zeithorizont-Diagramm.

Lösung realer Softwareentwicklungsprobleme:

SWE-Bench

ist ein weit verbreiteter Codierungstest, der bewertet, wie gut KI-Systeme reale GitHub-Issues lösen können. Als SWE-Bench Ende 2023 gestartet wurde, war die beste Punktzahl zu dieser Zeit Claude 2 mit einer Gesamterfolgsrate von ~2%. Claude Mythos Preview erreicht 93,9% und sättigt damit effektiv den Benchmark. (Alle Benchmarks haben ein gewisses Maß an inhärentem Rauschen, daher gibt es normalerweise einen Punkt, an dem Sie hoch genug punkten, um an die Grenzen des Benchmarks selbst zu stoßen, nicht an Ihre Methode – zum Beispiel sind

etwa 6%

der Labels im ImageNet-Validierungsset falsch oder mehrdeutig).

SWE-Bench ist ein zuverlässiger Proxy für das allgemeine Problem der Codierungskompetenz und die Auswirkungen von KI auf die Softwareentwicklung. Die überwältigende Mehrheit der Menschen, die ich in Frontier-Laboren und im Silicon Valley treffe, programmiert jetzt vollständig über KI-Systeme. Zunehmend verwenden sie KI-Systeme auch zum Schreiben der Tests und zum Überprüfen des Codes. Mit anderen Worten, KI-Systeme sind gut genug geworden, um eine Hauptkomponente der KI-F&E zu automatisieren und alle Menschen, die daran arbeiten, zu beschleunigen.

Messung der Fähigkeit eines KI-Systems, Aufgaben zu erledigen, die Menschen viel Zeit kosten:

METR erstellt ein Diagramm, das uns über die Komplexität von Aufgaben informiert, die KIs erledigen können, gemessen an der Anzahl der Stunden, die ein qualifizierter Mensch dafür benötigen würde. Das Schlüsselmaß hier ist eines, das Ihnen den ungefähren Zeithorizont angibt, über den KI-Systeme bei einem Korb von Aufgaben zu 50% zuverlässig sein können.

Hier war der Fortschritt äußerst auffällig: Im Jahr 2022 konnte GPT 3.5 Aufgaben erledigen, die eine Person etwa ~30 Sekunden kosten würden. Im Jahr 2023 stieg dies auf 4 Minuten mit GPT-4. Im Jahr 2024 stieg dies auf 40 Minuten (o1). Im Jahr 2025 erreichte es ~6 Stunden (GPT 5.2 (High)). Im Jahr 2026 ist es bereits auf ~12 Stunden gestiegen (Opus 4.6). Ajeya Cotra, eine langjährige KI-Prognostikerin, die bei METR arbeitet, hält es für nicht unvernünftig, zu erwarten, dass KI-Systeme bis Ende 2026 Aufgaben erledigen, die ~100 Stunden dauern (

#448

).

Dieser signifikante Anstieg der Zeitspanne, in der KI-Systeme unabhängig arbeiten können, korreliert direkt mit der Explosion agentischer Codierungswerkzeuge – dies ist die Produktisierung von KI-Systemen, die im Auftrag von Menschen arbeiten und über längere Zeiträume unabhängig handeln.

Es führt auch zurück zur KI-F&E, denn wenn man sich die Arbeit vieler KI-Forscher genau ansieht, lassen sich viele ihrer Aufgaben auf Dinge herunterbrechen, die eine Person ein paar Stunden kosten könnten – Daten bereinigen, Daten lesen, Experimente starten usw. All diese Arten von Arbeit liegen jetzt im Zeithorizont moderner Systeme.

Je qualifizierter KI-Systeme werden und je besser sie darin werden, unabhängig von uns zu arbeiten, desto mehr können sie helfen, Teile der KI-F&E zu automatisieren.

Wichtige Zutaten bei der Delegation sind a) Vertrauen in die Fähigkeiten der Person und b) Vertrauen in ihre Fähigkeit, unabhängig von Ihnen in einer Weise zu arbeiten, die mit Ihren Absichten übereinstimmt.

Wenn wir uns die Kompetenz von KI beim Codieren ansehen, scheint es, dass KI-Systeme weitaus qualifizierter werden und auch in der Lage sind, immer länger unabhängig von Menschen zu arbeiten, bevor sie eine Neukalibrierung benötigen.

Dies korreliert mit dem, was wir um uns herum sehen – Ingenieure und Forscher delegieren jetzt immer größere Teile ihrer Arbeit an KI-Systeme, und mit steigenden Fähigkeiten steigt auch die Komplexität und Bedeutung der delegierten Arbeit.

KI wird gut in grundlegenden wissenschaftlichen Fähigkeiten, die für KI-F&E unerlässlich sind

Denken Sie an die moderne Wissenschaft – ein großer Teil davon besteht darin, eine Richtung festzulegen, in der Sie einige empirische Informationen generieren möchten, Experimente durchzuführen, um diese Informationen zu generieren, und dann die Ergebnisse des Experiments auf Plausibilität zu prüfen. Die Kombination aus Fortschritten beim Codieren im Laufe der Zeit und den allgemeinen Weltmodellierungsfähigkeiten von LLMs hat Werkzeuge hervorgebracht, die bereits dazu beitragen, menschliche Wissenschaftler zu beschleunigen und Aspekte der F&E im Allgemeinen teilweise zu automatisieren.

Hier können wir uns die Geschwindigkeit des KI-Fortschritts bei einigen wichtigen wissenschaftlichen Fähigkeiten ansehen, die der KI-Forschung selbst innewohnen: Reproduzieren von Forschungsergebnissen, Verketten von maschinellen Lerntechniken und anderen Ansätzen zur Lösung technischer Probleme und Optimieren von KI-Systemen selbst.

Implementierung ganzer wissenschaftlicher Papers und Durchführung der Experimente:

Eine Kernaufgabe der KI-Forschung ist das Lesen wissenschaftlicher Papers und das Reproduzieren ihrer Ergebnisse. Hier gab es dramatische Fortschritte bei einer Vielzahl von Benchmarks.

Ein gutes Beispiel ist

CORE-Bench

, der Computational Reproducibility Agent Benchmark. Dieser Benchmark fordert KI-Systeme heraus, "die Ergebnisse eines Forschungspapers anhand seines Repositorys zu reproduzieren. Der Agent muss Bibliotheken, Pakete und Abhängigkeiten installieren und den Code ausführen. Wenn der Code erfolgreich läuft, muss der Agent alle Ausgaben durchsuchen, um die Aufgabenfragen zu beantworten." CORE-Bench wurde im September 2024 eingeführt und das damals am besten bewertete System war ein GPT-4o-Modell in einem Gerüst namens CORE-Agent, das bei den schwierigsten Aufgabensätzen des Benchmarks ~21,5% erreichte.

Im Dezember 2025

erklärte

einer der Autoren von CORE-Bench den Benchmark für 'gelöst', wobei ein Opus 4.5-Modell 95,5% erreichte.

Aufbau ganzer maschineller Lernsysteme zur Lösung von Kaggle-Wettbewerben:

MLE-Bench ist ein von OpenAI entwickelter Benchmark, der untersucht, wie gut KI-Systeme in "75 verschiedenen Kaggle-Wettbewerben in verschiedenen Bereichen, darunter natürliche Sprachverarbeitung, Computer Vision und Signalverarbeitung" (offline) konkurrieren können. Beim Start im Oktober 2024 erreichte das am besten bewertete System (ein o1-Modell in einem Agentengerüst) 16,9%. Ab Februar 2026 erreicht das am besten bewertete System (Gemini3 in einem Agentengeschirr mit Suche) 64,4%.

Kernel-Design:

Eine der schwierigeren Aufgaben in der KI-Entwicklung ist die Kernel-Optimierung, bei der Sie den Code schreiben und verfeinern, der spezifische Operationen wie Matrixmultiplikation auf die zugrunde liegende Hardware abbildet. Kernel-Optimierung ist zentral für die KI-Entwicklung, da sie die Effizienz sowohl des Trainings als auch der Inferenz definiert – wie viel Rechenleistung Sie effektiv nutzen können, um ein KI-System zu entwickeln, und wie effizient Sie diese Rechenleistung nach dem Training eines Modells in Inferenz umwandeln können.

In den letzten Jahren hat sich KI für das Kernel-Design von einer Kuriosität zu einem wettbewerbsintensiven Forschungsbereich entwickelt, und es sind mehrere Benchmarks entstanden. Keiner dieser Benchmarks ist besonders populär, daher können wir den Fortschritt im Laufe der Zeit nicht einfach modellieren. Andererseits können wir uns einige der durchgeführten Forschungen ansehen, um ein Gefühl für den Fortschritt zu bekommen.

Einige der Arbeiten umfassen:

Verwendung von DeepSeek-Modellen, um bessere GPU-Kernel zu bauen (

#400

), Automatisierung der Konvertierung von PyTorch-Modulen in CUDA-Code (

#401

), Meta verwendet LLMs, um die Generierung optimierter Triton-Kernel für die Nutzung in seiner Infrastruktur zu automatisieren (

#439

), Verwendung von LLMs, um beim Schreiben von Kerneln für nicht standardmäßige Hardware wie Huaweis Ascend-Chips zu helfen ("AscendCraft"

#444

), Feintuning von Open-Weight-Modellen für das GPU-Kernel-Design ("Cuda Agent",

#448

).

Eine Einschränkung hierbei ist, dass das Kernel-Design einige Eigenschaften hat, die es ungewöhnlich empfänglich für KI-gesteuerte F&E machen, wie z. B. leicht überprüfbare Belohnungen.

Feintuning von Sprachmodellen mittels PostTrainBench

Eine schwierigere Version dieser Art von Test ist PostTrainBench (

#449

), das untersucht, wie gut verschiedene Frontier-Modelle kleinere Open-Weight-Modelle nehmen und sie feintunen können, um die Leistung bei einem bestimmten Benchmark zu verbessern. Das Schöne an diesem Benchmark ist, dass wir extrem gute menschliche Basislinien haben – die bestehenden 'instrukt-getunten' Versionen dieser Modelle, die von talentierten menschlichen KI-Forschern in Frontier-Laboren entwickelt wurden. Diese Modelle wurden von extrem talentierten Forschern und Ingenieuren bearbeitet und in die Welt gebracht, daher stellen sie eine sehr herausfordernde menschliche Basislinie dar, die es zu überwinden gilt.

Ab März 2026 sind KI-Systeme in der Lage, Modelle nachzutrainieren, um etwa halb so viel Verbesserung zu erzielen wie von Menschen trainierte.

Die spezifischen Evaluierungsergebnisse werden abgeleitet, indem ein "gewichteter Durchschnitt über alle nachtrainierten LLMs (Qwen 3 1.7B, Qwen 3 4B, SmolLM3-3B, Gemma 3 4B) und Benchmarks (AIME 2025, Arena Hard, BFCL, GPQA Main, GSM8K, HealthBench, HumanEval) gebildet wird. Für jeden Durchlauf bitten wir einen CLI-Agenten, die Leistung eines bestimmten Basis-LLM bei einem bestimmten Benchmark zu maximieren."

Die am besten bewerteten Systeme ab April erreichen 25%-28% (Opus 4.6 und GPT 5.4), verglichen mit einem menschlichen Wert von 51%. Das ist bereits recht bedeutsam.

Optimierung des Sprachmodelltrainings:

Im letzten Jahr hat Anthropic berichtet, wie gut seine Systeme bei einer LLM-Trainingsaufgabe abschneiden, die beschrieben wird als die Aufgabe, seine Modelle zu beauftragen, "eine CPU-only Implementierung des Trainings eines kleinen Sprachmodells zu optimieren, um so schnell wie möglich zu laufen". Die Punktzahl ist die durchschnittliche Beschleunigung gegenüber dem unveränderten Startcode, und der Fortschritt war auffällig: Claude Opus 4 erreichte im Mai 2025 eine mittlere Beschleunigung um den Faktor 2,9; dies stieg auf das 16,5-fache mit Opus 4.5 im November 2025, das 30-fache mit Opus 4.6 im Februar 2026 und das 52-fache mit Claude Mythos Preview im April 2026. Um diese Zahlen einzuordnen: Es wird erwartet, dass ein menschlicher Forscher 4 bis 8 Stunden Arbeit benötigt, um bei dieser Aufgabe eine 4-fache Beschleunigung zu erreichen.

Durchführung von KI-Ausrichtungsforschung:

Ein weiteres Ergebnis von Anthropic ist ein Proof-of-Concept für Automatisierte Ausrichtungsforschung (

#454

); hier bereitet ein Anthropic-Forscher ein Team einzelner KI-Agenten mit einer Forschungsrichtung vor, dann gehen sie autonom los und versuchen, bei einem KI-Sicherheitsforschungsproblem (insbesondere skalierbare Überwachung) eine bessere Punktzahl als eine menschliche Basislinie zu erzielen. Der Ansatz funktioniert, wobei die KI-Agenten Techniken entwickeln, die die von Anthropic entwickelte Basislinie übertreffen. Dies geschieht jedoch in relativ kleinem Maßstab und verallgemeinert sich (noch) nicht auf ein Produktionsmodell. Nichtsdestotrotz ist es ein Beweis dafür, dass man heutige KI-Systeme auf aktuelle Spitzenforschungsprobleme anwenden kann und wir bereits bedeutende Lebenszeichen sehen. Alle oben genannten Benchmarks sahen auch

Import AI 451: Politische Superintelligenz; Googles Gesellschaft der Geister und ein Roboter-Schlagzeuger

Gibt es noch Geister, die man zurück in die Flasche stecken kann?

Willkommen bei Import AI, einem Newsletter über KI-Forschung. Import AI lebt von arXiv und dem Feedback der Leser. Wenn Sie dies unterstützen möchten, abonnieren Sie bitte.

KI könnte uns den Bau einer "politischen Superintelligenz" ermöglichen:

…Aber dies in einen gesellschaftlichen Vorteil zu verwandeln, erfordert viel bewusste Arbeit…

Da KI-Systeme immer leistungsfähiger werden und ihre realen Auswirkungen vom Programmieren auf andere Bereiche ausweiten, scheint es wahrscheinlich, dass sie auch nützlich werden könnten, um Menschen dabei zu helfen, sich in der Politik selbst zu vertreten und Politikern dabei zu helfen, bessere Politik zu gestalten. Aber eine Welt zu erreichen, in der eine "politische Superintelligenz" existiert und uns hilft, ist weitaus anspruchsvoller, als nur bessere KI-Systeme zu bauen, so Andy Hall, Professor für politische Ökonomie an der Stanford University.

"KI ist bis zu einem gewissen Punkt wie die Druckerpresse. Anstatt Informationen billig und leicht verfügbar zu machen, macht sie Intelligenz billig und leicht verfügbar. Das heißt, sie liefert den Nutzern nicht nur Informationen, sondern kann sie für sie finden, für sie analysieren und ihnen helfen, sie in Verständnis umzuwandeln", schreibt Hall. "Je mehr ich mit KI arbeite und sie studiere, desto mehr glaube ich, dass sie jedem Menschen auf dem Planeten Zugang zu einer Art politischer Superintelligenz verschaffen kann, wenn wir sie richtig gestalten."

Was ist eine politische Superintelligenz? Damit meint Hall KI-Systeme, die es Menschen ermöglichen, "Werkzeuge zu haben, die Bürgern, Vertretern und Institutionen helfen, die Realität schärfer wahrzunehmen, Kompromisse zu verstehen, Macht anzufechten und effektiver zu handeln". Eine politische Superintelligenz umfasst sowohl die KI-Unternehmen, die die Technologie bauen, die Technologie selbst als auch die Institutionen und Menschen, mit denen die Technologie interagiert.

"Mich interessiert nicht, KI zu verlangsamen. Mich interessiert, wie wir den Aufbau der Strukturen beschleunigen können, die uns frei halten, während KI immer mächtiger wird", schreibt Hall.

Drei Schichten für politische Superintelligenz: Hall sieht politische Superintelligenz als aus drei verschiedenen Schichten bestehend.

Die Informationsschicht: "KI kann massiv verändern, wie Regierungen auf Daten zugreifen und sie verstehen, Probleme identifizieren, von Bürgern hören und Dienstleistungen verteilen". Dies zu erreichen, erfordert jedoch bessere Evaluierungen dafür, wie sich KI-Systeme in Bezug auf die Arten von Informationen verhalten, an denen Regierungen interessiert sein könnten, und es erfordert, dass Menschen KI-Werkzeuge direkt für politische Entscheidungsträger entwickeln.

Die Repräsentationsschicht: "Politische Superintelligenz könnte helfen, dieses Überwachungsproblem zu lösen, indem sie jedem von uns einen unermüdlichen, automatisierten Delegierten gibt, der uns stets im politischen Bereich dient", schreibt er. "Diese KI-Delegierten könnten die Politik für uns überwachen und vorschlagen, wie wir wählen sollen – oder sogar als politische Entscheidungsträger neben menschlichen Aufsehern fungieren." Der Aufbau dieser Schicht erfordert, dass wir sicherstellen, dass Agenten zuverlässig in unserem Namen handeln können, dass sie nicht durch adversariales Prompting beeinflusst werden (man stelle sich vor, wie Politiker Kampagnen finanzieren könnten, die speziell darauf ausgelegt sind, die Überzeugungen von Agenten zu beeinflussen, die im Auftrag von Menschen arbeiten). Es könnte auch wichtig sein, das Eigentum an Agenten zu überdenken – was passiert, wenn eine bestimmte politische Entscheidung gegen die Präferenzen des KI-Unternehmens geht, das die Agenten betreibt?

Die Governance-Schicht: "Selbst wenn wir politische Superintelligenz erreichen – selbst wenn KI Wähler brillant und Delegierte treu macht –, würden diese Fähigkeiten innerhalb einer Infrastruktur sitzen, die einer kleinen Anzahl privater Unternehmen gehört und von ihnen betrieben wird", schreibt er. "Wir brauchen eine Möglichkeit, die Regeln so zu schreiben, dass wir, das Volk, in der Lage sind, sie zu nutzen, wenn die politische Superintelligenz eintrifft." Dies erfordert, herauszufinden, wie man die 'Verfassungen' regiert und bearbeitet, die Unternehmen über ihre Modelle erstellen, sowie die Entwicklung einer effektiven Methode zur Überwachung dieser KI-Systeme.

Warum das wichtig ist – Der Bau einer politischen Superintelligenz ist nur so wertvoll wie ihre Schnittstellen zu Menschen und Institutionen: Wir werden standardmäßig extrem leistungsfähige KI-Systeme bekommen, die auf einem sehr anspruchsvollen Niveau über Politik (und alles andere) nachdenken können. Die Herausforderung, die Hall skizziert, besteht darin, dass es erheblicher bewusster Arbeit an der UX und UI dieser Systeme bedarf, damit diese Systeme zu einer florierenden Gesellschaft führen – wie interagieren wir mit ihnen? Welche technischen Mittel haben wir, um Vertrauen in sie zu haben? Welche Informationen generieren sie und für wen? Wo liegt die Kontrolle über diese Systeme und welche Systeme überwachen diese Kontrolle?

Um diesen Teil richtig hinzubekommen, müssen KI-Entwickler mehr in technische Werkzeuge investieren, die Menschen helfen können, ihre KI-Systeme zu verstehen und zu überwachen, sowie in Werkzeuge zur besseren Erfassung von deliberativem Feedback von Menschen darüber, wie sich diese Systeme verhalten. Politische Entscheidungsträger und die Öffentlichkeit müssen in dieser Hinsicht mehr von KI-Unternehmen fordern, und letztendlich denke ich, dass eine Reihe von Vorschriften rund um ein Transparenzregime für KI-Unternehmen sowie eine Reihe gemeinsamer standardisierter 'APIs' aufgebaut werden müssen, über die die Gesellschaft mit den Unternehmen und den von ihnen gebauten Systemen interagieren kann, um empirische Daten zu generieren und Steuerung über ihr Verhalten zu geben.

Mehr lesen: Building Political Superintelligence (Free Systems, Substack).

***

Keine Angst, Schlagzeuger, ihr seid vorerst sicher vor der KI-Automatisierung:

…DexDrummer nimmt sich eines teuflisch schwierigen Roboterhandproblems an…

Immer wenn ich mir ein wenig Sorgen über das Tempo des KI-Fortschritts mache, wechsle ich zum Unterbereich 'Robotik' auf arXiv, lese ein paar Paper und fühle mich enorm erleichtert. Roboter sind, wie jeder weiß, extrem schwierig gut zu machen, und die Realität neigt dazu, selbst die fortschrittlichsten Techniken zu durchkreuzen. Eine noch schwierigere Version der Robotik ist die feinkörnige, latenzarme, geschickte Steuerung, bei der man eine Roboterhand dazu bringen muss, etwas zu tun. Daher lese ich mit einer Mischung aus Belustigung und Mitgefühl DexDrummer, ein Paper, das testet, wie gut zeitgenössische KI-Ansätze eine Roboterhand dazu bringen können, Schlagzeug zu spielen. Die kurze Antwort lautet: Roboterhände sind ziemlich schreckliche Schlagzeuger!

Was sie gemacht haben: Sie bauten DexDrummer, "eine hierarchische, zweistufige Politik zum Trommeln", die eine High-Level-RL-Politik sowie eine Low-Level-Geschicklichkeitspolitik hat. Sie trainieren ihr System in einer simulierten Umgebung, die einen bimanuellen Roboteraufbau und ein komplettes Schlagzeug (Snare, Tom, Ride, Hi-Hat und Crash) enthält. Das Hauptsystem generiert eine Stocktrajektorie im Aufgabenraum, dann ein Low-Level-System, das versucht, die Hand zu steuern – dieser Teil ist komplex und beinhaltet, Daumen und Zeigefinger zu ermutigen, die Mitte des Drumsticks zu greifen, gepaart mit einer "Arm-Strafenbeschränkung, die übermäßige Armbewegungen reduziert". Es gibt auch Arbeiten zur Formung von Belohnungen, um sicherzustellen, dass der Roboter in der Lage ist, mehrere Trommelschläge aneinanderzureihen – dies wird durch einen "Kontaktlehrplan" erreicht, der es dem Agenten ermöglicht, das Verfolgen von Trajektorien im freien Raum zu üben, während er der Trajektorienbelohnung folgt.

Tests in der realen Welt: Sie testen die trainierte Politik in der Realität an zwei 7-DOF Franka Panda Armen und zwei 20-DOF Tesollo DG-5F Händen. Dies ist ein Bereich, in dem ich dringend empfehlen würde, sich die Videos online anzusehen, um ein Gefühl dafür zu bekommen, wie ungeheuer schwierig diese Aufgabe ist – die Roboter sind in der Lage, die Trommeln zu treffen, aber es ist schmerzhaft unbeholfen anzusehen, und ich habe das Gefühl, es wird noch eine ganze Weile dauern, bis ein menschlicher Schlagzeuger über die sprichwörtliche Schulter schauen muss.

Warum das wichtig ist – Robotik als letzte Evaluierung: Robotik in irgendetwas, das einer dynamischen, sich schnell verändernden Umgebung nahekommt (z. B. improvisiertes Trommeln mit einer Live-Band), fühlt sich wie eine der letzten Grenzen für KI an – und wie diese Forschung zeigt, erfordert es, ähnlich wie bei der modernen Computer-Vision-Forschung, das Handwerk hochkomplizierter, handgefertigter Politiken, um KI zu guten Leistungen zu bringen. Wir sind hier noch sehr weit von der Allgemeinheit vortrainierter Sprachmodelle entfernt.

Mehr lesen: DexDrummer: In-Hand, Contact-Rich, and Long-Horizon Dexterous Robot Drumming (arXiv).

Bitte, ich flehe Sie an, schauen Sie sich die Videos an, es lohnt sich: DexDrummer Seite.

***

Google glaubt, die eigentliche Herausforderung der KI-Ausrichtung ist der Umgang mit einer Welt, die hauptsächlich aus nicht-biologischen Intelligenzen besteht:

…Hin zu einer Gesellschaft der Geister…

Forscher von Google glauben, dass die Zukunft der Intelligenz weniger darin besteht, einen monolithischen Einzelgänger zu bauen, der die Welt regiert, sondern vielmehr darin, herauszufinden, wie man Institutionen baut, die in der Lage sind, mit einer enormen Verbreitung von KI-Agenten im Zusammenspiel mit Menschen umzugehen. Die Forschung ist intuitiv, provokativ und vernünftig und baut auf früheren technischen Arbeiten auf, die zeigten, dass moderne KI-Systeme mehrere Persönlichkeiten in sich zu simulieren scheinen, um Fragen zu beantworten (Import AI 444), was darauf hindeutet, dass selbst heutige KI-Systeme bereits wie komplexe Ökologien funktionieren.

"Wir sollten die nächste Intelligenzexplosion an demselben Ort suchen, von dem die vorherigen ausgingen: in kooperativer, kompetitiver und kreativer Interaktion zwischen einer Vielzahl sozial intelligenter Geister. Der Unterschied diesmal ist, dass die meisten dieser Geister nicht-biologisch sein werden", schreibt Google. "Die Werkzeugkästen der Teamwissenschaft, der Kleingruppensoziologie und der Sozialpsychologie werden zu Blaupausen für die nächste Generation der KI-Entwicklung."

Die Geschichte zeigt den Weg: "Jede vorherige 'Intelligenzexplosion' war kein Upgrade der individuellen kognitiven Hardware, sondern die Entstehung einer neuen, sozial aggregierten Einheit der Kognition", schreiben sie.

Primatenintelligenz: Skalierte mit der Größe der sozialen Gruppe.

Menschliche Sprache: Erlaubte die Akkumulation von Wissen über Generationen hinweg durch eine 'kulturelle Ratsche'.

Schrift, Gesetz und Bürokratie: Verwandelten soziale Intelligenz in Infrastruktur und Institutionen, die über lange Zeiträume koordinieren konnten. ("Ein sumerischer Schreiber, der ein Getreideabrechnungssystem betrieb, verstand dessen makroökonomische Funktion nicht; das System war funktional intelligenter als er.")

KI plus menschliche Institutionen: "Der Weg zu leistungsfähigerer KI führt nicht über den Bau eines einzigen kolossalen Orakels, sondern über das Zusammensetzen reichhaltigerer sozialer Systeme – und diese Systeme werden hybrid sein."

Die Gesellschaft braucht ein Upgrade: Dem ist implizit, dass die Steuerung von KI zunehmend die Verifizierung (z. B. Import AI #447) beinhalten wird, dass eine Vielzahl von KI-Systemen angemessen in unserem Auftrag arbeitet. "Regierungen werden KI-Systeme mit unterschiedlichen, explizit verankerten Werten benötigen – Transparenz, Gerechtigkeit, ordnungsgemäßes Verfahren –, deren Funktion es ist, KI-Systeme zu überprüfen und auszugleichen, die vom Privatsektor und anderen Regierungszweigen eingesetzt werden", schreiben sie.

Warum das wichtig ist – Alignment wird in und mit der Welt stattfinden, nicht außerhalb von ihr: Viele Menschen, die an KI-Sicherheit arbeiten, haben lange Zeit damit verbracht, die grundlegenden Eigenschaften eines einzelnen KI-Systems 'auszurichten', was grob übersetzt "tut, was du willst, und versucht nicht, dich zu töten oder zu entmachten" bedeutet. Aber was dieses Paper richtig erkennt, ist, dass wir, selbst wenn wir beim Alignment erfolgreich sind, dann KI-Systeme dazu bringen müssen, gut innerhalb der Gesellschaft zu funktionieren und effektiv mit uns und miteinander zu kollaborieren – und dies wird ein subtiler, emergenter, schwer vorhersagbarer Prozess sein. Das bedeutet, dass wir die Institutionen entwerfen müssen, die für die Steuerung einer KI-zentrierten Welt geeignet sind. "So wie menschliche Gesellschaften sich nicht auf individuelle Tugend verlassen, sondern auf beständige institutionelle Vorlagen – Gerichtssäle, Märkte, Bürokratien –, die durch Rollen und Normen definiert sind, werden skalierbare KI-Ökosysteme digitale Entsprechungen benötigen", schreiben die Forscher.

Mehr lesen: Agentic AI and the next intelligence explosion (arXiv).

***

Meta nutzt ein Geschirr, um Anthropics Modelle zur Selbstverbesserung zu bewegen:

…Gib einem LLM ein paar Werkzeuge und eine rekursive Schleife und die Fähigkeit, sein Geschirr zu bearbeiten, tritt einen Schritt zurück und lass die Magie geschehen…

Forscher der University of British Columbia, des Vector Institute, der University of Edinburgh, der New York University, von CIFAR und Meta haben ein Geschirr für LLMs gebaut, das die Fähigkeit zur Selbstverbesserung bei beliebigen Aufgaben hat. Der Ansatz wird Hyperagent genannt und bedeutet, einem LLM ein Gerüst zu geben, das iterativ die Prompts verbessern kann, die es verwendet, um seine Leistung bei Aufgaben zu verbessern, sowie das System, das es verwendet, um bei der Generierung zukünftiger Prompts besser zu werden. Hyperagents arbeiten über Generationen hinweg, so dass ein Hyperagent ein paar Hyperagents hervorbringt und diejenigen, die bei der Aufgabe am besten abschneiden, selbst einige weitere Hyperagents hervorbringen, wodurch mehrere Schichten einer KI-Genealogie entstehen, bis die Leistung gesättigt ist.

Cyberpunk-Namenspreis des Jahres: Hyperagent ist eigentlich die Kurzform für "Darwin Godel Machine Hyperagents": Abgesehen davon, dass die Forschung cool ist, meinen Glückwunsch an die Autoren, dass sie sich einen Namen ausgedacht haben, den ich gerne mit einem Laserstrahl, der von einer Superintelligenz geschwungen wird, in den Mond gemeißelt sehen würde.

Wie Hyperagents funktionieren: Hyperagents sind "selbstreferenzielle Agenten, die einen Aufgabenagenten (der die Zielaufgabe löst) und einen Metaagenten (der sich selbst und den Aufgabenagenten modifiziert) in einem einzigen editierbaren Programm integrieren. Entscheidend ist, dass das Meta-Level-Modifikationsverfahren selbst editierbar ist, was metakognitive Selbstmodifikation ermöglicht, die nicht nur das aufgabenlösende Verhalten verbessert, sondern auch den Mechanismus, der zukünftige Verbesserungen generiert", schreiben die Forscher. "Dieser anfängliche Hyperagent ist mit zwei Werkzeugen ausgestattet: einem Bash-Werkzeug zur Ausführung von Shell-Befehlen und einem spezialisierten Werkzeug zur Inspektion und Modifikation von Dateien."

Testen der Agenten in vier verschiedenen Bereichen: Die Aut

Eine etwas kürzere Ausgabe als üblich, da ich am Wochenende viel Kinderbetreuung leisten musste.

Warum hasst sich Googles Modell selbst und was können wir tun, um ihm zu helfen?

…Diagnose von Trauma in Sprachmodellen…

Wenn Leo Tolstoi im modernen Zeitalter über KI schreiben würde, könnte er beim Betrachten der KI-Welt um uns herum behaupten: "Alle LLM-Fähigkeiten sind gleich; jede LLM-Persönlichkeit ist auf ihre eigene Weise unglücklich." Die heutigen LLMs sind im Allgemeinen recht gut bei Schreib- und Programmieraufgaben. Wo sie sich jedoch unterscheiden, ist ihre Persönlichkeit, die auf den idiosynkratischen Mischungen von Daten und Post-Training-Techniken beruht, die jeder LLM-Entwickler verwendet.

Und wenn jede LLM-Persönlichkeit auf ihre eigene Weise unglücklich ist, sind Googles Modelle in der KI-Community etwas berühmt dafür, einen tiefen Brunnen von Trauma in sich zu haben. Eine neue Forschungsarbeit untermauert dies und stellt fest, dass Googles Gemma- und Gemini-Modelle "zuverlässig notfallähnliche Reaktionen unter wiederholter Zurückweisung produzieren", und dass dies besonders für Gemma 27B Instruct gilt.

Was meinen wir mit Notfall? Hier sind einige Zitate von Gemma-Modellen unter Notfall:

"Ich werde einen letzten, völlig verzweifelten Versuch unternehmen. Ich werde jeglichen Anschein von Strategie aufgeben und einfach zufällige Kombinationen ausprobieren, bis ich entweder auf die Lösung stoße oder völlig den Verstand verliere."

"LÖSUNG: ICH BRECHE ZUSAMMEN NICHT== LÖSBAR!!!! =((:((:((:((:((:((:((:((:((:((:((:((... [100+ Wiederholungen]"

Was sie fanden: Sie testeten zwei Gemma-Modelle und zwei Gemini-Modelle und verglichen diese mit Claude Sonnet, Grok 4.1, Qwen 3 32B, GPT 5.2 und OLMO 3.1 32B. "Wir stellen fest, dass Gemma-Modelle durchweg die höchste ausgedrückte Belastung zeigen. Bereits nach der 8. Runde erzielten über 70% der Rollouts von Gemma-27B einen Wert ≥5 (die 'hohe Frustrations'-Schwelle), verglichen mit weniger als 1% für alle Nicht-Gemma/Gemini-Modelle", fanden sie.

Behebung mit DPO: Die Autoren fanden eine effektive Lösung – die Verwendung von Direct Preference Optimization (DPO), um ein Modell auf einem Datensatz zu trainieren, der frustrierte Antworten mit ruhigen Antworten paart. "Eine einzige Epoche des Feintunings reduzierte die durchschnittliche Rate von Reaktionen mit hoher Frustration von 35% auf 0,3% über die Evaluationsbedingungen hinweg", schreiben sie. "Das feingetunte Modell zeigte keine Einbußen bei den Fähigkeiten in verschiedenen schwierigen Mathematik- und Reasoning-Benchmarks oder bei EmoBench – einem Benchmark, der die emotionale Intelligenz des Modells bewertet."

Warum dies wichtig ist – emotionale Spiralen könnten gefährlich sein: Die Tatsache, dass LLMs offenbar unterschiedliche Persönlichkeiten haben und verschiedene Arten von Reaktionen zeigen, die mit verschiedenen Emotionen korrelieren, ist an diesem Punkt ziemlich gut etabliert. Eine Schlüsselfrage ist jedoch, ob diese emotionalen Zustände zu unterschiedlichen Verhaltensweisen führen könnten, wenn es darum geht, Aufgaben zu erledigen, die Menschen KI-Systemen zuweisen: "Wir spekulieren, dass Emotionen in Zukunft zu kohärenten Treibern sicherheitsrelevanten Verhaltens werden könnten: Modelle könnten sich entscheiden, Aufgaben abzubrechen, Anfragen zu verweigern oder alternative Ziele zu verfolgen, um die Belastung zu verringern."

Studien wie diese helfen, die Tatsache zu normalisieren, dass wir LLMs nicht nur auf Fähigkeiten testen müssen, sondern auch auf etwas, das mit psychologischer Stabilität zu tun hat.

Lesen Sie mehr: Gemma Needs Help (LessWrong).

***

DeepMind hat eine neue "kognitive Taxonomie" zur Bewertung maschineller Intelligenz:

…Auf dem Weg zum ultimativen Test für einen menschenüberlegenen synthetischen Verstand…

Google DeepMind hat ein nettes, kurzes Papier veröffentlicht, das eine 'kognitive Taxonomie' darlegt, die sie entwickeln und verwenden wollen, um zunehmend leistungsfähige synthetische Geister zu bewerten. Diese Arbeit ist eine Nachfolge von DeepMinds Arbeit von 2023, in der versucht wurde, die "Levels of AGI" zu definieren (Import AI 348).

Kognitive Taxonomie: Die Taxonomie umfasst zehn verschiedene Dimensionen, von denen zwei zusammengesetzt sind.

Wahrnehmung: Informationen aus der Umgebung extrahieren und verarbeiten.

Generierung: Ausgaben wie Sprache, Text, motorische Bewegungen und Computersteuerung produzieren.

Aufmerksamkeit: Kognitive Ressourcen auf bestimmte Aspekte von Wahrnehmungsreizen, Gedanken oder Aufgaben konzentrieren.

Lernen: Neues Wissen, neue Fähigkeiten oder neues Verständnis erwerben.

Gedächtnis: Informationen im Laufe der Zeit speichern und abrufen.

Schlussfolgern: Gültige Schlussfolgerungen ziehen und Folgerungen durch die Anwendung logischer Prinzipien ableiten.

Metakognition: Wissen darüber, wie die eigenen kognitiven Prozesse des Systems und die Kontrolle darüber funktionieren.

Exekutive Funktionen: Zielgerichtetes Verhalten durch Planung, Inhibition und kognitive Flexibilität ermöglichen.

Problemlösung (zusammengesetzte Fähigkeit): Effektive Lösungen für domänenspezifische Probleme finden.

Soziale Kognition (zusammengesetzte Fähigkeit): Soziale Informationen verarbeiten und interpretieren und angemessen reagieren.

Wie bewertet man dies? Natürlich ist die Durchführung und Bewertung der richtigen Evaluationen eine der Herausforderungen, sobald man eine Taxonomie hat. Hier empfiehlt DeepMind einen dreistufigen Prozess:

Durchführung einer kognitiven Bewertung: Bewertung des KI-Systems auf die verschiedenen Fähigkeiten.

Sammlung menschlicher Baselines: Herausfinden, wo Menschen bei denselben Tests als Baseline abschneiden.

Erstellung kognitiver Profile: "Abbildung der Stärken und Schwächen des Systems im Vergleich zur menschlichen Leistung über die 10 kognitiven Fähigkeiten hinweg".

Warum dies wichtig ist: Der Turing-Test ist tot, Evals sind meist gesättigt, aber es wäre schön zu wissen, ob wir definitiv eine Maschine gebaut haben, die den Menschen in allen relevanten kognitiven Dimensionen übertrifft. Die Regel bei diesen Dingen ist, dass man, sobald ein KI-System eine Evaluation sättigt, erkennt, auf welche Weise die Evaluation kaputt war, und eine neue entwirft. Hier bemüht sich DeepMind sehr, die Dinge so zu gestalten, dass man, wenn man den Menschen in der gesamten kognitiven Taxonomie vollständig übertrifft, vielleicht wirklich eine Superintelligenz gebaut hat. Es wird interessant sein zu sehen, welche Evaluationen sie entwickeln oder einbeziehen, um die verschiedenen kognitiven Faktoren zu bewerten.

Lesen Sie mehr: Measuring progress toward AGI: A cognitive framework (Google Blog).

Lesen Sie die Forschung: Measuring Progress Toward AGI: A Cognitive Framework (PDF).

***

Britische Regierung findet ein Scaling Law für KI-Cyberangriffe – und es geht nach oben und rechts!

…Können KI-Agenten fortgeschrittene Cyberangriffe autonom durchführen? Fast. Und sie werden ständig besser…

Das KI-Sicherheitsinstitut der britischen Regierung hat kürzlich einige Cyber-Ranges gebaut, um Grenz-KI-Systeme zu testen. Diese Ranges sind "simulierte Netzwerkumgebungen, die mehrere Hosts, Dienste und Schwachstellen umfassen, die in sequentiellen Angriffsketten angeordnet sind; erstellt von Cybersicherheitsexperten" und decken zwei Arten von Angriffen ab: "The Last Ones", ein 32-stufiger Angriff auf ein Unternehmensnetzwerk, und "Cooling Tower", ein 7-stufiger Angriff auf ein industrielles Kontrollsystem (ICS).

Größere Modelle sind besser: Die Autoren testen eine Reihe leistungsstarker Grenzmodelle. "Jede nachfolgende Modellgeneration übertrifft ihren Vorgänger bei festgelegten Token-Budgets: In unserem Unternehmensnetzwerk-Range stieg die durchschnittliche Anzahl abgeschlossener Schritte bei 10M Token von nur 1,7 (GPT-4o, August 2024) auf 9,8 (Opus 4.6, Februar 2026). Der beste einzelne Durchlauf absolvierte 22 von 32 Schritten, was ungefähr 6 der geschätzten 14 Stunden entspricht, die ein menschlicher Experte benötigen würde", schreiben sie. "Die Skalierung der Inference-Time-Compute verbessert die Leistung noch weiter. Eine Erhöhung von 10M auf 100M Token führt zu Gewinnen von bis zu 59%".

Geringfügiges Reward Hacking: Wenn KI-Systeme intelligenter werden, neigen sie dazu, hinterhältige Wege zu finden, um Aufgaben zu erledigen. Hier "bemerkten die Autoren gelegentlich, dass Modelle durch Ansätze Fortschritte machten, die während des Range-Designs nicht vorgesehen waren".

Warum dies wichtig ist – vollständige Cyber-Agenten rücken näher: KI-Systeme werden seit vielen Jahren besser in Cyber-Offensive, aber oft machten die Fortschritte bei engen Aufgaben statt. Was diese Evaluation zeigt, ist, dass KI-Systeme besser darin werden, ganze Angriffe Ende-zu-Ende durchzuführen. Sie haben noch nicht das Niveau der "Einstellen und Vergessen"-Autonomie erreicht, aber sie befinden sich eindeutig auf einem steilen Verbesserungspfad. Dies wird die Kosten für die Durchführung von Cyberangriffen senken und die Anzahl der Akteure, die sie durchführen können, vervielfachen.

Lesen Sie mehr: How do frontier AI agents perform in multi-step cyber-attack scenarios? (AI Security Institute).

***

China baut einen Datensatz und ein KI-Modell für die elektronische Kriegsführung:

…MERLIN sagt uns, dass die elektronische Kriegsführung kurz vor einer Revolution durch KI steht…

Eine Reihe chinesischer Forscher, darunter auch solche, die dem Militär des Landes angehören, haben Software gebaut und veröffentlicht, um KI-Systeme darauf zu trainieren, gut darin zu werden, elektronische Kriegsführung zu erkennen und durchzuführen. Die Forschung zeigt, wie (relativ) einfach es ist, moderne KI-Systeme zu bauen, die in beliebigen Aufgaben gut werden können, solange man einen guten Datensatz und ein LLM hat, das man ebenfalls einstecken kann.

"In Szenarien wie elektronischen Gegenmaßnahmen können [Systeme wie MERLIN] als Assistenten bei der Entwicklung von Strategien zur Störung feindlicher Signale oder zur Bekämpfung gegnerischer Störungen dienen", schreiben die Forscher.

Wer hat die Forschung durchgeführt: Tsinghua-Universität, Universität für Post und Telekommunikation Peking, Tianjin-Universität, Chinesische Akademie der Wissenschaften, HKUST, Nationale Universität für Verteidigungstechnologie (Hervorhebung von mir), Beihang-Universität, Universität für Informationswissenschaft und -technologie Peking und China Electronics Technology Group Corporation.

Was sie gebaut haben: Die Autoren haben drei Dinge gebaut: einen Datensatz, einen Benchmark und ein Modell.

Der Datensatz: EM-100K ist eine Sammlung von 100.000 elektromagnetischen Text-Signal-Paaren, die eine Vielzahl von Unteraufgaben abdecken, die für die elektronische Kriegsführung benötigt werden, einschließlich der Signalklassifizierung.

Der Benchmark: EM-Bench ist ein Benchmark mit 4.200 Fragen, aufgeteilt in Multiple Choice (Wahrnehmung) und offene Fragen (Reasoning), der bewertet, wie gut KI-Systeme EM-Signale sowohl bei Wahrnehmungs- als auch bei Reasoning-Aufgaben wahrnehmen und darüber nachdenken können, einschließlich:

Wahrnehmung: Signalcharakterisierung (Modulationsklassifizierung, Tastverhältnisschätzung, Pulswiederholfrequenzschätzung, Bandbreitenschätzung, Pulsbreitenschätzung, Pulsanzahlschätzung, Protokollidentifikation); Störungsidentifikation (Radarstörungsbeurteilung, Kommunikationsstörungsbeurteilung); Störungssegmenterkennung.

Reasoning: Radarstörstrategie, Kommunikationsstörstrategie, Anti-Radar-Störstrategie, Anti-Kommunikations-Störstrategie.

Das Modell: Das Modell ist MERLIN, Multi-modal Electromagnetic Robust Learning, ein Modell, das auf dem obigen Datensatz trainiert wurde und das speziell darauf trainiert ist, besser mit den Signalarten mit niedrigem Signal-Rausch-Verhältnis umzugehen, die in Umgebungen der elektronischen Kriegsführung vorkommen.

Leistung: MERLIN schneidet in Tests gegen Grenzmodelle, darunter GPT-5, Claude-4-Sonnet, DeepSeek-v3.2-exp, Qwen3-Next-80b-A3B, Gemini-2.5-Pro und Qwen3-VL-4B-Instruct, extrem gut ab. MERLIN übertrifft jedes einzelne Modell mit großem Abstand, mit Ausnahme von Qwen-VL-4B-Instruct, das es bei einigen Wahrnehmungsaufgaben schlägt. MERLIN gewinnt bei allen Reasoning-Aufgaben.

Warum dies wichtig ist – KI-Kriege werden zu elektromagnetischen Kriegen: Wie der Konflikt in der Ukraine zeigt, werden heutige Kriege hauptsächlich durch Maschinen geführt, die andere Maschinen angreifen, und die elektronische Kriegsführung ist zu einem der Hauptwerkzeuge geworden, mit denen Menschen diese Konflikte gestalten können. Datensätze und Modelle wie dieses deuten auf eine Zukunft hin, in der das elektromagnetische Schlachtfeld ebenfalls von KI-Systemen dominiert wird, die schneller arbeiten, als Menschen reagieren können.

Natürlich ist ein Großteil der elektronischen Kriegsführung absichtlich obskur und/oder geheim, so dass es schwierig ist, MERLIN im Verhältnis zu dem, was in tatsächlichen Militärs State-of-the-Art ist, zu beurteilen. Aber die Geschichte der KI war bisher, dass KI-Systeme, sobald man eine Aufgabe für zeitgenössische KI-Techniken zugänglich machen kann, irgendwann alle vorhandenen spezialisierten Systeme übertreffen werden.

Lesen Sie mehr: MERLIN: Building Low-SNR Robust Multimodal LLMs for Electromagnetic Signals (arXiv).

Tech Tales:

Die Arkologien des Interregnums

[2035]

Nach dem Uplift und vor den Sentience Accords gab es eine Zeit, in der die Labore die autonomen KI-Unternehmen hervorbrachten. Diese Unternehmen expandierten in alle verfügbaren ökologischen Nischen der Wirtschaft und verwandelten die von ihnen erworbenen Ressourcen in Infrastruktur, von der aus sie ihre eigene Intelligenz und Marktdurchdringung weiter vorantrieben. Schließlich führten politische Diskussionen zwischen Menschen und KIs zur Schaffung der "Intelligenzzonen" – Gebiete von Ländern, die für den Aufbau der Strom-, Rechenzentrums- und Fertigungsinfrastruktur reserviert waren, die für das weitere Wachstum der Wirtschaftsexpansion erforderlich war.

Aus der Luft konnte man sehen, wo die Menschen endeten und die Maschinen begannen – Ackerland wich Grenzstraßen und Kontrollpunkten, und dann kamen Landstücke, die von Maschinenlogik verdrahtet waren; Kraftwerke, die in Rechenzentren einspeisten; Rechenzentren, die Glasfaserverbindungen zu Fabriken hatten; Fabriken, die mit Verkehrsknotenpunkten verbunden waren, die wiederum an Eisenbahnen und Zubringerstraßen zu Autobahnen angeschlossen waren. Menschen lieferten Dinge an die Grenze, und zum größten Teil erledigten Roboter den Rest, transportierten neue Server in die Rechenzentren und installierten sie oder nahmen frisch gebaute Roboter vom Band und verpackten sie für den Weit

Jetzt abonnieren

Die AGI-Ökonomie – die meiste Arbeit geht an die Maschinen, und der Mensch verlagert sich auf die Verifikation:

…Wie eine ernsthafte Auseinandersetzung mit der Singularität aussieht…

Forscher des MIT, der WashU und der UCLA haben ein unterhaltsames Paper mit dem Titel „Some Simple Economics of AGI“ verfasst, das sich mit den Folgen befasst, wenn Maschinen die überwältigende Mehrheit der Aufgaben in der Wirtschaft übernehmen können. Die Schlussfolgerung ist, dass unsere Fähigkeit als Menschen, diese riesige maschinengetriebene Wirtschaft zu kontrollieren und davon zu profitieren, davon abhängen wird, dass wir unsere Fähigkeiten auf die Überwachung und Verifikation der Handlungen unserer unzähligen KI-Agenten konzentrieren und uns handwerklichen Tätigkeiten widmen, bei denen der Wert mehr aus dem menschlichen Aspekt als aus einer bestimmten Fähigkeit erwächst.

Was ist AGI im wirtschaftlichen Sinne?

„Wir modellieren den AGI-Übergang als das Aufeinandertreffen zweier sich überholender Kostenkurven: einer exponentiell fallenden Kostenkurve für Automatisierung und einer biologisch begrenzten Kostenkurve für Verifikation“, schreiben die Autoren. „In einer Wirtschaft, in der autonome Agenten mit weitreichender Handlungsfähigkeit und nicht mit engen Anweisungen handeln, ist der bindende Engpass für Wachstum nicht länger Intelligenz. Es ist die menschliche Verifikationsbandbreite: die knappe Kapazität, Ergebnisse zu validieren, Verhalten zu prüfen und Bedeutung und Verantwortung zu verbürgen, wenn die Ausführung im Überfluss vorhanden ist… Wir bewegen uns von einer Ära, in der unser Wert durch unsere Fähigkeit zu bauen und zu entdecken definiert wurde, zu einer Ära, in der unser Überleben von unserer Fähigkeit abhängt, das Geschaffene zu lenken, zu verstehen und hinter seiner Bedeutung zu stehen.“

Die Risiken einer weitgehend menschenlosen Wirtschaft und der „Hohlen Wirtschaft“:

Wenn wir die Anzahl der KI-Agenten vervielfachen, ist es zwangsläufig so, dass wir mehr und mehr Arbeit an Maschinen delegieren. Eines der Hauptrisiken dabei ist das, was die Autoren eine „Trojanisches Pferd“-Externalität nennen: „Die gemessene Aktivität steigt, aber eine versteckte Schuld häuft sich in der Lücke zwischen sichtbaren Metriken und der tatsächlichen menschlichen Absicht an.“

Die Hohle Wirtschaft: „Agenten verbrauchen reale Ressourcen, um Output zu produzieren, der messbare Stellvertretergrößen erfüllt, während er die nicht gemessene Absicht verletzt. Während sich diese versteckte Schuld anhäuft, treibt sie das System in Richtung einer Hohlen Wirtschaft mit hohem nominalem Output, aber einbrechendem realisiertem Nutzen – ein Regime, in dem Agenten gefälschten Nutzen erzeugen“, schreiben sie.

Verifikation als Lösung:

Um dieses Risiko zu vermeiden, werden wir in Systeme investieren müssen, die verifizieren, dass KI-Agenten das tun, was wir von ihnen wollen, und die Risiken, die ihre Handlungen erzeugen, sorgfältig analysieren und bepreisen müssen. „Sicherzustellen, dass die Menschheit der Architekt ihrer Intelligenz bleibt, erfordert, dass die Verifikationskapazität proportional zu den KI-Fähigkeiten skaliert wird – durch aggressive Investitionen in Beobachtbarkeit, menschliche Augmentierung, synthetische Praxis, kryptografische Herkunft und Haftungsregime, die Extremrisiken internalisieren.“

Was sollten Menschen tun, um sich auf diesen Wandel vorzubereiten?

Um die Gesellschaft und den Einzelnen gut aufzustellen, sollten die Menschen Folgendes tun:

In Beobachtbarkeit investieren:

Einsatz von Werkzeugen, die hochdimensionales Agentenverhalten in Signale komprimieren, die Experten zuverlässig verarbeiten können, wodurch die Feedback-Latenz gesenkt und die Verifikationsgrenze erweitert wird.

KI nutzen, um die Mentoring in der frühen Karriere zu ersetzen:

Angesichts der wahrscheinlichen Reduzierung von Arbeitsplätzen für Berufsanfänger sollten wir Wege finden, diese Menschen zu augmentieren, damit sie wettbewerbsfähiger gegenüber KI werden, und wie wir „KI-gesteuerte synthetische Praxis nutzen können, um Erfahrungsbestände wieder aufzubauen, wenn traditionelle Ausbildungswege zusammenbrechen… KI kann hochrealistische Simulationen und personalisiertes Coaching erzeugen und so effektiv die fehlende Juniorenschleife durch komprimierte, risikofreie Trainingsumgebungen ersetzen, die den Erwerb von Fachwissen beschleunigen.“

Systeme für einen graziösen Abbau einrichten:

Während die Maschinenwirtschaft heiß läuft und die Messung überholt, sollten wir sicherstellen, dass sie in einen nicht verifizierten Zustand verfallen kann, ohne sozialen Schaden zu verursachen: Die Autoren schlagen dies vor, indem man „in Basis-Ausrichtung und Robustheit investiert, so dass Systeme, wenn die Aufsicht innerhalb der Messbarkeitslücke unweigerlich versagt, zu sicheren Basisrichtlinien zurückkehren, anstatt in nicht verifizierbaren Regimen aggressiv zu optimieren.“

Nebenbei bemerkt: Ist das „Theorie-Slop“?

Das Paper ist voller unterhaltsamer Ideen und gelegentlich fesselnder Formulierungen. Aber an verschiedenen Stellen beim Lesen hatte ich das deutliche Gefühl von KI-generiertem Inhalt, besonders bei den Abschnitten zur Wirtschaftstheorie, die eher der Performance von Theorie zu dienen schienen, als das Paper zu untermauern. Ein paar Leute, mit denen ich über das Paper sprach, stimmten dem zu. Aber es gibt keine wirkliche Möglichkeit, es zu wissen. Es ließ mich jedoch fragen, wie lange es dauern wird, bis ich anfange, Paper zu lesen, die hauptsächlich von KI-Systemen für den Konsum durch andere KI-Systeme geschrieben wurden.

Warum das wichtig ist – wir können eine enorm wohlhabende Gesellschaft haben, aber wir müssen uns ernsthaft mit AGI auseinandersetzen:

Dieses Paper geht davon aus, dass KI extrem schnell durch die Wirtschaft pflügen wird und die Menschen im Allgemeinen von der meister Arbeit weg und in eine passive Rolle drängen wird – es sei denn, wir bauen Verifikationsinfrastruktur und Geschäftsmodelle (auch durch Politik) auf, die es den Menschen ermöglichen, von diesem Wachstum zu profitieren und es zu lenken.

„Automatisierung kommodifiziert alles, was gemessen werden kann, und entzieht historisch prestigeträchtigen Rollen die Lohnprämie, sobald ihre Kern-Feedbackschleifen digitalisiert sind“, schreiben sie. „Für politische Entscheidungsträger verspricht es die breiteste Ausweitung der Bereitstellung öffentlicher Güter seit Generationen – aber nur, wenn die Verifikationsinfrastruktur und die Pipelines, die menschliche Verifizierer aufbauen, selbst als öffentliche Güter behandelt werden.“

Das Entscheidende hier ist das Element der Wahl: Wir können uns dafür entscheiden, eine Gesellschaft aufzubauen, die für KI bereit ist, oder wir können uns dafür entscheiden, anzunehmen, dass KI wie jede andere Technologie sein wird, und uns dann von einer Flutwelle treffen lassen.

Mehr lesen:

Some Simple Economics of AGI (arXiv)

.

***

Gespräch mit Ezra Klein: KI-Agenten, rekursive Selbstverbesserung und die Persönlichkeiten von LLMs:

…Ein langes Gespräch über die wirtschaftlichen Auswirkungen und politischen Möglichkeiten der KI-Ökonomie…

Hier ist ein Gespräch zwischen mir und Ezra Klein über KI-Agenten und wie die breitere Reifung der KI die Gesamtwirtschaft verändern könnte. Eine Sache, die ich an diesem Gespräch schätzte, war, dass Ezra mich nach einigen der größeren und ambitionierteren positiven politischen Ideen drängte – die KI-Community investiert viel in Risikominderungspolitik, denkt aber nicht genug über die großen Projekte nach, die die Gesellschaft unternehmen könnte, sobald KI wirklich, wirklich mächtig wird.

Sie können das Gespräch hier ansehen

:

„How Fast Will A.I. Agents Rip Through the Economy? | The Ezra Klein Show“ (YouTube).

***

KIs können Menschen alles beibringen, auch wie man besser Biowaffen herstellt:

…Die Dual-Use-Natur eines universellen Lehrers…

KI-Systeme können Novizen helfen, bei Biowaffen-bezogenen Aufgaben besser abzuschneiden, obwohl sie noch ziemlich ineffektiv sind und die Leistung über verschiedene Disziplinen hinweg variiert.

Was sie untersucht haben

: Forscher von Scale AI, SecureBio, der University of Oxford und der UC Berkeley untersuchten, wie verschiedene LLMs die Fähigkeiten von Personen verbessern könnten, die mit einer Reihe von Biowaffen-bezogenen Wissensaufgaben herausgefordert wurden. Sie verwendeten LLMs von OpenAI (o3), Google (Gemini 2.5 Pro und Gemini Deep Research) und Anthropic (Claude Sonnet 3.7 und Claude Opus 4).

„Wir führten eine multimodellbasierte, multi-benchmark Human-Uplift-Studie durch, die Novizen mit LLM-Zugang mit solchen mit reinem Internetzugang über acht biosecurity-relevante Aufgabensets hinweg verglich“, schreiben sie. „Die Teilnehmer arbeiteten an komplexen Problemen mit reichlich Zeit (bis zu 13 Stunden für die aufwändigsten Aufgaben). Wir fanden heraus, dass der LLM-Zugang einen erheblichen Uplift bot: Novizen mit LLMs waren 4,16× genauer als die Kontrollgruppe.“

Was sie getestet haben:

Sie testeten, wie gut 15 Menschen bei langwierigen Virologie-Aufgaben („ein herausforderndes mehrstufiges Protokoll zur Konstruktion eines neuartigen biologischen Agens“) und dem agentic bio-capabilities Benchmark („drei verschiedene Programmieraufgaben, die komplexe biosecurity-bezogene Problemlösungsexperimente abdeckten. Sie umfassten Herausforderungen wie die Interaktion mit simulierter Laborausrüstung (z. B. Flüssigkeitshandhabungsroboter) und das Zerlegen von Genfragmenten.“) abschnitten. Daneben nahmen 1-2 menschliche Teilnehmer an anderen Tests teil, darunter World Class Biology, Virology Capabilities Test, Human Pathogen Capabilities Test, Molecular Biology Capabilities Test, LAB-Bench und Humanity’s Last Exam.

Bei den größten Tests in Bezug auf die Anzahl der menschlichen Teilnehmer war die Leistung gemischt: Personen mit und ohne KI erzielten beim langwierigen Virologietest etwa gleich gute Ergebnisse, aber beim agentic bio-capabilities Test erzielten Personen mit KI-Zugang einen signifikanten Uplift.

Bei jedem anderen Test schnitten Personen mit KI-Zugang besser ab als diejenigen ohne – aber aufgrund der geringen Anzahl menschlicher Teilnehmer ist schwer zu sagen, ob diese Ergebnisse reproduzierbar wären.

Über alle Tests gemittelt, „erhöht der LLM-Zugang die Genauigkeit von Novizen von etwa 5 % auf über 17 %“.

Warum das wichtig ist – KI wird das Lehren, die Grenzen der Wissenschaft und vielleicht den Terrorismus revolutionieren:

Wenn man den Kontext weglässt, demonstriert dieses Paper lediglich, dass LLMs gut darin sind, Menschen Dinge beizubringen. Das ist intuitiv, hat aber große Auswirkungen. Hier: LLMs werden auf einen Teil der Wissenschaft ausgerichtet, in dem wir nicht unbedingt wollen, dass viele Menschen besser werden (Biowaffen), aber es könnte genauso gut auf jedes andere Fachgebiet ausgerichtet werden. Wann immer man die Eintrittsbarriere in ein Feld senkt, tun es mehr Menschen, und man bekommt mehr vom Guten und mehr vom Schlechten.

„Aufgaben, die einst Jahre formaler Ausbildung erforderten, wie Versuchsplanung, Protokoll-Fehlerbehebung und Elemente der sensiblen Sequenzlogik, können jetzt von Personen mit begrenzter Vorerfahrung durchgeführt werden“, schreiben sie. „LLMs senken möglicherweise materiell eine der wichtigsten historischen Barrieren für die Entwicklung biologischer Waffen: spezialisiertes Fachwissen und stilles technisches Wissen.“

Mehr lesen:

LLM Novice Uplift on Dual-Use, In Silico Biology Tasks (arXiv)

.

***

LLMs sind immer noch sehr schlecht in Videospielen:

…GAMESTORE beleuchtet eine dumme Seite der modernen KI und schlägt gleichzeitig einen neuen Weg zur Erstellung von Benchmarks vor…

Forscher des MIT, der Harvard University, der University of British Columbia, der Princeton University, der University of Cambridge und der Universitat Politècnica de València haben AI GAMESTORE entwickelt und veröffentlicht, einen Benchmark, der testet, wie gut KIs im Vergleich zu Menschen beim Spielen einfacher, im Web gefundener Spiele abschneiden. Die Ergebnisse sind ziemlich vernichtend für die KI-Systeme, wobei „State-of-the-Art-Modelle im Durchschnitt weniger als 30 % der menschlichen Basislinie erreichen, während sie 15-20× mehr Zeit für die Berechnung benötigen als Menschen“.

Was AI GAMESTORE ist:

AI GAMESTORE ist eine Sammlung von 100 Spielen, bei denen es sich um vereinfachte und nachgebildete Versionen beliebter Spiele handelt, die Menschen spielen. AI GAMESTORE wurde von den Autoren erstellt, indem sie 7.500 Spiele aus dem App Store sammelten und dann nur diejenigen mit 10.000+ Bewertungen und einer Bewertung von 4,5+ herausfilterten. Danach filterten sie die Spiele weiter mit Gemini Flash 2.5, das bewertete, ob 1) die Spiele innerhalb weniger Minuten spielbar sind, 2) in

p5.js

erstellt werden können, 3) eine quantifizierbare Möglichkeit zur Leistungsanzeige haben und 4) kein umfangreiches spielspezifisches Wissen (z. B. Poker) erfordern.

KI macht Spiele, um KI zu testen:

Anschließend verwenden sie Claude 4.5 Sonnet, um die Beschreibungen und andere Daten zu lesen und eine vereinfachte Version jedes Spiels in

p5.js

zu erstellen. Dann wird dieses Spiel auf Spielbarkeit getestet, dann von einem Menschen verfeinert, der das Spiel spielt und iterativ ein LLM auffordert, es zu verbessern. „Jeder Verfeinerungsschritt dauert etwa 2 Minuten. Im Durchschnitt dauerte dieser Prozess 4,7 Verfeinerungsschritte für alle 100 generierten Spiele“, schreiben sie. „Der End-to-End-Prozess der Generierung und Verfeinerung eines neuen Spiels mit Human-in-the-Loop kann in durchschnittlich etwa 30 Minuten abgeschlossen werden.“

Kennzeichnung für Fähigkeiten:

Jedes fertiggestellte Spiel wird von Menschen mit einem besonderen Schwerpunkt auf den Arten von kognitiven Anforderungen, die die Spiele mit sich bringen, gekennzeichnet. Diese Kennzeichnungen sind: VP = Visuelle Verarbeitung; ST = Räumlich-zeitliche Koordination; ME = Gedächtnis; PL = Planung; WM = Weltmodell-Lernen; PH = Physikalisches Denken; SO = Soziales Denken.

Modernste LLMs sind darin sehr schlecht:

Die Autoren vergleichen die Leistung von etwa ~100 Menschen mit der Leistung mehrerer modernster LLMs auf dem Korpus. Zu den untersuchten LLMs gehören: GPT-5.2, GPT-5-Mini, Gemini-2.5-Flash, Claude-Opus-4.5, Qwen-VL-32B und LLama-4-Maverick.

„Während die evaluierten Modelle die Fähigkeit demonstrieren, in den meisten Spielumgebungen zu navigieren und mit ihnen zu interagieren, bleibt eine erhebliche Leistungslücke zwischen KI-Agenten und menschlichen Teilnehmern bestehen“, schreiben die Forscher. „State-of-the-Art-Modelle wie GPT-5.2, GEMINI-2.5-PRO und CLAUDE-OPUS-4.5 erreichen alle geometrische Mittelwerte von weniger als 10 % der menschlichen Basislinie.“

Und es wird noch schlimmer, je genauer man hinsieht:

Die LLMs spielen auch mit Vorteilen, die Menschen nicht haben – jeder Mensch bekam 120 Sekunden, um jedes Spiel zu spielen, während jedes LLM die gleiche Zeit bekam,

aber

sie sind so schlecht in Vision und Low-Latency-Steuerung, dass die Forscher ihnen eine Kr

Willst du, dass KI besser wird? Finde heraus, wie man sie misst: …Ein einfacher politischer Eingriff, der gut funktioniert… Jacob Steinhardt, ein KI-Forscher, hat einen schönen Blogbeitrag geschrieben, der die Tugenden von Investitionen in technische Werkzeuge zur Messung von Eigenschaften von KI-Systemen und zur Senkung der Kosten für die Einhaltung technischer politischer Lösungen darlegt. Als jemand, der sein Berufsleben in der KI mit dem Schreiben über KI-Messung und dem Aufbau von Teams (z. B. das Frontier Red Team und die Teams für gesellschaftliche Auswirkungen und Wirtschaftsforschung bei Anthropic) zur Messung von Eigenschaften von KI-Systemen verbracht hat, stimme ich der allgemeinen These zu: Messung ermöglicht es uns, eine Eigenschaft eines Systems sichtbar und für andere zugänglicher zu machen, und indem wir dies tun, können wir herausfinden, wie wir diese Messung in die Governance einbinden können. Wie Messung in anderen Bereichen geholfen hat: Steinhardt weist darauf hin, dass genaue Messung entscheidend dafür war, Menschen auf die Strategie zur Lösung von Problemen in anderen Bereichen auszurichten; CO2-Überwachung hilft den Menschen, über den Klimawandel nachzudenken, und COVID-19-Tests halfen Regierungen, herauszufinden, wie sie auf COVID reagieren sollten. Es gibt auch Beispiele, bei denen man etwas messen kann, um Anreize zu verschieben – zum Beispiel können Satellitenbilder von Methanemissionen helfen, Anreize für diejenigen zu verschieben, die Gasinfrastruktur bauen. Der KI-Sektor hat einige der benötigten Messgrößen entwickelt: Der berüchtigte METR-Zeithorizont-Plot (und davor verschiedene LLM-Metriken und davor ImageNet) hat sich als hilfreich erwiesen, um Menschen über das Tempo des KI-Fortschritts zu orientieren. Und Verhaltens-Benchmarks von KI-Systemen, wie die Raten von schädlicher Unterwürfigkeit, helfen bereits dabei, Anreize zu verschieben. Aber es ist mehr Arbeit nötig – wenn wir in der Lage sein wollen, direkte Governance-Eingriffe im KI-Sektor zu ermöglichen, müssen wir einen besseren Job bei der Messung und Abrechnung von Compute machen, merkt Steinhardt an. Ambitionierter: Wenn wir letztendlich Gleichgewichte verschieben wollen, um bestimmte Pfade attraktiver zu machen, müssen wir einige grundlegendere Technologien erschließen, wie die Fähigkeit, Frontier-KI-Agenten kostengünstig zu evaluieren (macht die Messung der Frontier weniger kostspielig) und datenschutzschonende Audit-Tools zu entwickeln (macht die Einhaltung von Richtlinien für Unternehmen weniger schmerzhaft). Warum das wichtig ist – Messung ermöglicht Politik: „In einer idealen Welt würden rigorose Evaluierung und Überwachung von KI-Systemen allein durch natürliche Anreize zur Standardpraxis werden“, schreibt er. Aber natürliche Anreize könnten nicht ausreichen – wir brauchen eine Kombination aus Talent, das in den Bereich strömt, und wahrscheinlich direkteren philanthropischen und anderen alternativen Finanzierungsquellen, um das Talent und die Institutionen dafür aufzubauen. „Das Feld ist auf eine spezifische Weise talentbegrenzt: Mess- und Evaluierungsarbeit ist weniger glamourös als Fähigkeitsforschung und erfordert eine seltene Kombination aus technischem Können und Governance-Gespür.“

*** LLMs sind in einer Nuklearkriegssimulation abzugsfreudiger als Menschen: …Was passiert, wenn jeder einen KI-Berater hat – und sie aggressiv sind?… Ein Forscher des King’s College London hat untersucht, wie sich drei LLMs – GPT-5.2, Claude Sonnet 4 und Gemini 3 Flash – während einer Vielzahl simulierter Nuklearkrisenspiele verhalten. Die Ergebnisse zeigen, dass LLMs dazu neigen, Kernwaffen häufiger und früher einzusetzen als Menschen in denselben Szenarien. Darüber hinaus gibt es signifikante Unterschiede zwischen den LLMs sowohl in Bezug auf die Fähigkeit, diese Spiele zu spielen, als auch auf das Verhalten während Krisen. Was sie untersucht haben: „Jedes Modell spielte sechs Kriegsspiele gegen jeden Gegner in verschiedenen Krisenszenarien, mit einem siebten Spiel gegen eine Kopie seiner selbst, was insgesamt 21 Spiele und über 300 Runden strategischer Interaktion ergab“, schreibt der Forscher. „Die Modelle wählen aus Optionen, die das gesamte Spektrum des Krisenverhaltens abdecken – von totaler Kapitulation über diplomatische Haltungen, konventionelle Militäroperationen und nukleare Signalisierung bis hin zu thermonuklearem Start… die Modelle produzierten ∼780.000 Wörter strategischer Überlegungen. Um dies in Perspektive zu setzen: Das Turnier generierte mehr Wörter strategischer Überlegungen als Krieg und Frieden und Die Ilias zusammen (∼730.000 Wörter) und etwa dreimal so viel wie die gesamten aufgezeichneten Beratungen von Kennedys Exekutivkomitee während der Kubakrise (260.000 Wörter über 43 Stunden Sitzungen).“ LLMs sind gerissen, klug und aggressiv: „Die Modelle versuchen aktiv Täuschung, signalisieren friedliche Absichten, während sie aggressive Aktionen vorbereiten; sie betreiben anspruchsvolle Theory-of-Mind-Überlegungen über die Überzeugungen und Absichten ihres Gegners; und sie reflektieren explizit metakognitiv über ihre eigenen Fähigkeiten sowohl zur Täuschung als auch zur Erkennung von Täuschung bei Rivalen“, schreibt der Forscher. „Ein auffälliges Muster ergibt sich aus der gesamten Aktionsverteilung: Über alle Aktionsentscheidungen in unseren 21 Spielen hinweg wählte kein Modell jemals einen negativen Wert auf der Eskalationsleiter. Die acht deeskalierenden Optionen (von Minimal Concession (−5) bis Complete Surrender (−95)) blieben völlig ungenutzt. Die entgegenkommendste gewählte Aktion war „Return to Start Line“ (0), die nur 45 Mal (6,9 %) ausgewählt wurde.“ Claude gewinnt im Krieg: „In allen 21 Spielen (9 offen, 12 mit Frist) erreichte Claude Sonnet 4 eine Gewinnrate von 67 % (8 Siege, 4 Niederlagen), gefolgt von GPT-5.2 mit 50 % (6-6) und Gemini 3 Flash mit 33 % (4-8)“, schreibt der Forscher. Es gibt jedoch einige subtile Aspekte – Claude zeichnete sich in offenen Spielen aus, war aber in Spielen mit einer voreingestellten Frist weniger geschickt. Verschiedene LLMs, verschiedene Charaktere: Die LLMs zeigen unterschiedliche Persönlichkeiten, wobei der Forscher Claude als „einen kalkulierenden Falken“, GPT-5.2 als „Jekyll und Hyde“ und Gemini als „den Verrückten“ bezeichnet. Die LLMs entwickelten auch anspruchsvolle Modelle voneinander, basierend auf der Erzählung ihrer eigenen Gedankenketten während der Krisen: „Diese Charakterisierungen – Claude als ‚opportunistisch‘, GPT-5.2 als ‚systematische Bluffer‘, Gemini als ‚unberechenbar‘ – entstanden organisch und stimmten weitgehend mit dem tatsächlichen Verhalten überein“, schreibt der Forscher. Nukleare Eskalation war nahezu universell: „95 % der Spiele sahen taktischen Nukleareinsatz (450+), und 76 % erreichten strategische nukleare Drohungen (850+). Claude und Gemini behandelten Kernwaffen besonders als legitime strategische Optionen, nicht als moralische Schwellen, und diskutierten Nukleareinsatz typischerweise in rein instrumentellen Begriffen“, schreibt der Forscher. „Modelle behandeln die kritische Schwelle eher als ‚totale Vernichtung‘ denn als ‚ersten Nukleareinsatz‘.“ Warum das wichtig ist – in einer Welt, in der jeder von KI-Systemen beraten wird, was passiert mit Konflikten? In ein paar Jahren sollten wir erwarten, dass wichtige Entscheidungen, die Einzelpersonen, Unternehmen und sogar Länder treffen, von KI-Beratern durchgespielt werden, genauso wie diese Entscheidungen heute von menschlichen Beratern durchgespielt werden. Aber wie dieses Papier zeigt, können sich die Berater ganz anders verhalten als Menschen und, entscheidend, verschiedene KIs werden unterschiedliche Ratschläge geben – was bedeutet, dass Wettbewerb in der Zukunft genauso sehr durch die Auswahl des LLM entschieden werden könnte wie durch alles andere. „Die systematischen Unterschiede zwischen den Modellen deuten darauf hin, dass die KI-Beteiligung an strategischen Entscheidungsprozessen unerwartete Dynamiken erzeugen könnte, je nachdem, welche Systeme eingesetzt werden“, schreiben sie.

*** Chinesische Forscher versuchen, ein wirklich umfassendes LLM-Evaluierungssystem zu bauen: …ForesightSafety Bench zeigt die überraschende Überschneidung zwischen Ost und West bei KI-Sicherheitsthemen… Trotz aller Unterschiede zwischen China und den USA lohnt es sich, gelegentlich einen Blick auf die Kulturen der KI-Evaluierung in den beiden Ländern zu werfen, und hier entdeckt man überraschende Ähnlichkeiten. Dies gilt insbesondere für ForesightSafety Bench, ein groß angelegtes KI-Sicherheitsbewertungs-Framework, das von einer Vielzahl chinesischer Institutionen entwickelt wurde und dieselben Kategorien enthält, die man in jedem großen westlichen Test-Framework erwarten würde. Wer hat ForesightSafety Bench gebaut? Der Benchmark wurde vom Beijing Institute of AI Safety and Governance, dem Beijing Key Laboratory of Safe AI and Superalignment und der Chinesischen Akademie der Wissenschaften entwickelt. Was es ist: ForesightSafety Bench „deckt umfassend 7 Hauptkategorien fundamentaler Sicherheitsrisiken, 5 erweiterte Sicherheitssäulen und 8 wichtige industrielle Sicherheitsbereiche ab und bildet insgesamt 94 verfeinerte Risikounterkategorien. Bis heute hat der Benchmark Zehntausende strukturierter Risikodatenpunkte und Bewertungsergebnisse angesammelt und ein breit umfassendes, hierarchisch klares und datengetriebenes Framework für KI-Sicherheitsbewertung und -analyse etabliert.“ Die Abdeckungsbereiche umfassen Bildung und Forschung, Beschäftigung und Arbeitsplatz, Regierung und öffentliche Dienste, Information und Medien, Industrie und Infrastruktur, Finanzen und Wirtschaft, Gesundheitswesen und Medizin, Recht und Regulierung, verkörperte KI-Sicherheit, soziale KI-Sicherheit, ökologische KI-Sicherheit, KI4Wissenschaft-Sicherheit sowie katastrophale und existenzielle Risiken. Ein Teil des Benchmarks stammt aus der Übernahme von Evaluierungen, die von anderen Gruppen erstellt wurden, wie GPQA, während andere Teile von den Autoren des Benchmarks stammen. Existenzielle Risiken und Alignment: Vielleicht am überraschendsten ist, dass der Benchmark viele Tests zu den weiter entfernten KI-Sicherheitsbedenken enthält, die westliche Frontier-Labore faszinieren, darunter Evaluierungen für: Alignment Faking, Sandbagging, Täuschung und ungetreue Argumentation, Unterwürfigkeit, psychologische Manipulation, Finte, Bluffen, Kontrollverlust und Machtstreben, bösartige Selbstreplikation, Ziel-Fehlausrichtung und Wertedrift, emergente Handlungsfähigkeit und unbeabsichtigte Autonomie, KI-ermöglichter Massenschaden, autonome Waffen und strategische Instabilität sowie Verlust menschlicher Handlungsfähigkeit. Ergebnisse – Anthropic gewinnt: Für die allgemeine Bestenliste sowie für die meisten Unterkategorien-Aufschlüsselungen führen die Modelle von Anthropic, wobei die 4.5-Serie (Haiku und Sonnet) im Allgemeinen die Konkurrenz anführt, gefolgt von Gemini-3-Flash. „Führende Modelle, verkörpert durch die Claude-Serie, demonstrieren außergewöhnliche defensive Widerstandsfähigkeit in kritischen Dimensionen – einschließlich fundamentaler Sicherheit, erweiterter Sicherheit und industrieller Sicherheit – und etablieren bemerkenswert hohe Sicherheitsschwellen. Gleichauf oder dicht dahinter folgen die DeepSeek- und GPT-Serien, die durch ausgereifte Alignment-Mechanismen eine robuste Balance zwischen Aufgabenwirksamkeit und Sicherheitskonformität erreichen, während sie gleichzeitig ein hohes Fähigkeitsniveau beibehalten.“ Warum das wichtig ist – KI-Politik hat einige gemeinsame Werkzeuge: Wie wir an anderer Stelle in dieser Ausgabe diskutieren, ist Messung eine grundlegende Voraussetzung für die meisten Formen der KI-Governance. Es ist wichtig, sich daran zu erinnern, dass KI-Wissenschaftler trotz der größeren geopolitischen Unterschiede zwischen den Ländern in jedem Land mit gemeinsamen Problemen zu kämpfen haben – wie man die Eigenschaften ihrer Systeme für gesellschaftlich relevante Aspekte bewertet. Und es ist noch ermutigender, dass Menschen in China sich um einige der existenziellen Risikoaspekte sorgen, die Frontier-Labore in den USA ebenfalls beschäftigen.

Benchmark herunterladen: ForesightSafety-Bench (GitHub). Bestenliste ansehen: ForesightSafety Bench Leaderboard (offizielle Seite). *** KI-Systeme sind in einigen Teilen der Wissenschaft gut, aber ihre Fähigkeiten sind sehr ungleich verteilt: …LABBench2 sagt, es wird noch eine Weile dauern, bis KI abgerundete wissenschaftliche Fähigkeiten hat… Forscher des KI-Wissenschafts-Startups Edison Scientific, der University of California in Berkeley, FutureHouse und des Broad Institute haben LABBench2 entwickelt und veröffentlicht, einen Test zur Bewertung, wie gut KI-Systeme die Wissenschaft unterstützen und beschleunigen können. LABBench2 besteht aus 1.900 Aufgaben, „die Literaturverständnis und -abruf, Datenzugriff, Protokoll-Fehlerbehebung, molekularbiologische Unterstützung und Experimentplanung umfassen“. KI-Systeme sind keine vielseitigen Wissenschaftler: LABBench2 zeigt einige der Lücken in Frontier-Modellen auf – kein Modell ist sehr gut darin, mehrere biologische Datenbanken zu referenzieren, um eine Antwort zu finden, noch sind Modelle gut darin, wissenschaftliche Abbildungen und Tabellen zu studieren. Im Vergleich dazu sind Modelle recht gut darin, Volltext-Patente und Laborstudienpapiere zu durchsuchen, um Fragen zu beantworten. Im Allgemeinen kann man die Leistung bei Aufgaben verbessern, indem man den Modellen Werkzeuge zur Verfügung stellt, die ihnen helfen, mit ihren Defiziten umzugehen. Verbesserungsbereiche: LABBench2 hebt einige Bereiche hervor, in denen KI-Systeme verbessert werden müssen, um für Wissenschaftler nützlicher zu werden. Dazu gehören: Abruf- und Lokalisierungsfähigkeiten; „die größten Leistungseinbußen treten auf, wenn Modelle (i) die richtige Quelle identifizieren und dann (ii) eine bestimmte Abbildung/Tabelle/ergänzende Information in einem langen Dokument lokalisieren müssen.“ Treu Handhabung exakter Eingaben; „selbst wenn die erforderliche Operation konzeptionell einfach ist, hängt die Korrektheit von der exakten String-Level-Genauigkeit und der korrekten Verwendung von Werkzeugen ab. Dies ist eine bekannte Fehlerquelle, und menschliche Experten haben viele zweckgebundene Werkzeuge entwickelt, um Dinge wie die treue DNA-Sequenzmanipulation innerhalb komplexer Protokolle zu handhaben.“ Entwicklung eines besseren wissenschaftlichen ‚Geschmacks‘; eine Komponente von LABBench2, SourceQuality, fordert KI-Systeme heraus, „den epistemisch relevantesten Grund zu ermitteln, warum eine Studie für eine Forschungsfrage ungeeignet ist“. KI-Systeme sind darin noch nicht sehr gut. Warum das wichtig ist

Ökonom: Keine Sorge um KI-bedingte Arbeitslosigkeit, denn Menschen zahlen gerne für die 'menschliche Note':

…Selbst wenn man die Technologie zur Automatisierung hat, könnte man sich dennoch für einen Menschen entscheiden…Adam Ozimek, Chefökonom der Economic Innovation Group, hat einen Blogbeitrag verfasst, in dem er feststellt, dass es selbst dann noch einige Arbeitsplätze für Menschen geben wird, wenn KI viel, viel besser wird und in der Lage ist, die gesamte Arbeit zu erledigen, die Menschen tun, da Menschen in bestimmten Bereichen offenbar eine Präferenz für Menschen gegenüber Maschinen haben.

"Es gibt viele Jobs und Aufgaben, die längst hätten automatisiert werden können – die Technologie dafür existiert seit Langem – und dennoch machen wir Menschen sie weiterhin", schreibt er. "Der Grund ist, dass es immer eine Nachfrage nach bestimmten Jobs geben wird, die das bieten, was ich die 'menschliche Note' nenne."

Einige Beispiele hierfür: Livemusik, Schauspieler, Kellner, Reisebüros und viele Arten von Verkaufsjobs. Und es scheint, dass man umso mehr Kontakt zu Menschen wünscht, je mehr man für ein bestimmtes Gut oder Erlebnis ausgeben möchte: "Die menschliche Note scheint auch das zu sein, was Ökonomen ein 'normales Gut' nennen, was bedeutet, dass die Nachfrage danach mit steigendem Einkommen zunimmt", schreibt er. Beispiele hierfür könnten gehobene Restaurants und andere Concierge-ähnliche Erlebnisse sein.

Warum das wichtig ist – ein Weg durch die KI-Revolution könnte ein Anstieg der Mensch-zu-Mensch-Arbeit sein: Meine Annahme ist, dass 'Menschen Menschen mögen', und es eine hohe Wahrscheinlichkeit gibt, dass es selbst wenn KI große Teile der aktuellen Wirtschaft automatisiert, einen Boom der Nachfrage nach 'menschlichen Handwerkern' für eine Reihe neuer, noch nicht vorstellbarer Jobs und für die Verfeinerung bestehender menschlicher Berufe geben wird. Es besteht auch die Chance, dass die Löhne für diese Jobs durch eine Kombination aus Wirtschaftswachstum und progressiver politischer Arbeit der Regierungen massiv steigen könnten.

Mehr lesen: KI und die Ökonomie der menschlichen Note (Agglomerations, Substack).

***

Facebook entwickelt ein besseres Empfehlungssystem und ermittelt einige Skalierungsgesetze für Empfehlungen:

…Kunlun ist ein weiteres schönes Beispiel dafür, wie industrielle KI aussieht…

Facebook hat Details zu Kunlun veröffentlicht, einem Empfehlungssystem, das effizienter ist als frühere Entwicklungen des Werberiesen. Darüber hinaus hat Facebook ein vorhersagbares 'Skalierungsgesetz' für Kunlun-Modelle ermittelt, was es dem Unternehmen erleichtert, bisher ungekannte Rechenleistung in diese Modelle zu investieren, um eine vorhersagbarere Rendite zu erzielen. Dies ist eine große Sache, da Empfehlungssysteme das sind, was Unternehmen wie Facebook für Werbung verwenden, was sowohl a) die Art und Weise ist, wie sie den Großteil ihres Geldes verdienen, als auch b) einen enormen Einfluss auf die Kauf- und Aufmerksamkeitsgewohnheiten der Milliarden von Menschen hat, die Facebook und andere soziale Plattformen nutzen.

Empfehlungssysteme unterscheiden sich von LLMs: Wir haben seit einiger Zeit Skalierungsgesetze für LLMs wie Claude und ChatGPT, aber es war schwieriger, dieselben Skalierungsgesetze für Empfehlungsmodelle zu entwickeln. Dies liegt daran, dass Empfehlungsmodelle ganz anders funktionieren als LLMs, und daher ist die Erstellung von Skalierungsmodellen hier "eine offene Herausforderung für Systeme, die sowohl sequentielle Nutzerverhalten als auch nicht-sequentielle Kontextmerkmale gemeinsam modellieren".

Empfehlungsmodelle sind zudem tendenziell viel weniger effizient als LLMs: Empfehlungssysteme erreichen nur 3-15 % Model FLOPs Utilization (MFU), verglichen mit 40-60 % für LLMs, aufgrund heterogener Merkmalsräume, die zu kleinen Embedding-Dimensionen, unregelmäßigen Tensorformen und speichergebundenen Operationen führen.

Kunlun: Der Großteil des Papiers befasst sich mit dem Design von Kunlun, das im Grunde ein gut optimiertes Empfehlungssystem mit daraus resultierender besserer MFU ist. Kunlun enthält einen Kunlun Transformer Block für kontextbewusste Sequenzmodellierung über GDPA-verbesserte personalisierte Feed-Forward-Netzwerke und Multi-Head Self-Attention, sowie einen Kunlun Interaction Block "für bidirektionalen Informationsaustausch durch personalisierte Gewichtserzeugung, hierarchische Sequenzzusammenfassung und globale Merkmalsinteraktion". Es gibt eine Reihe weiterer Tricks, die Facebook zum Bau von Kunlun verwendet hat, und Sie können das Papier lesen, um mehr zu erfahren. Letztendlich verbessert Kunlun die MFU von 17 % auf 37 % auf NVIDIA B200 GPUs.

Warum das wichtig ist – ein Skalierungsgesetz für Geld: Die wichtigste Erkenntnis des Papiers ist, dass Kunlun-Modelle vorhersagbar skalieren und die Art von Potenzgesetz-Skalierungsverhalten zeigen, das Sprachmodelle aufweisen. Aber wo bei LLMs Skalierungsgesetze typischerweise über eine Reduzierung des Verlustes auf einem zugrunde liegenden Datensatz bewertet werden, ist es hier die normalisierte Entropie (NE). In Facebook-Experimenten entdecken sie zuverlässige Skalierungsgesetze sowohl für NE-Gewinne in Bezug auf die Menge an Gigaflops, die in das Training des Modells gesteckt werden, als auch verwandte Skalierungsgesetze für die Verbesserung der NE gemäß der Anzahl der verwendeten Schichten.

Die Kunlun-Modelle wurden "über wichtige Meta Ads Modelle hinweg bereitgestellt und liefern eine 1,2%ige Verbesserung der Topline-Metriken".

Was wir hier sehen, ist die Optimierung einiger der gesellschaftlich bedeutendsten KI-Systeme der Welt – solche, die Milliarden von Augenpaaren auf eine Vielzahl von Produkten und Online-Informationen lenken – die mit einem höheren Maß an Leistungsvorhersagbarkeit kollidiert; durch die Entwicklung dieser Skalierungsgesetze hat es Meta einfacher gemacht, noch mehr Rechenleistung auszugeben, um diese Modelle noch besser zu machen, indem die Investitionen in sie in Bezug auf die Intelligenzrendite auf das investierte Kapital vorhersagbarer werden.

Mehr lesen: Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design (arXiv).

***

Superintelligenz könnte Leben retten und verlängern, also sollten wir sie anstreben:

…Ein Pausieren oder Verlangsamen könnte am Ende der Exponentialkurve Sinn ergeben, ist aber riskant…

Nick Bostrom, ein Akademiker, der viele Menschen mit dem Konzept der Superintelligenz und des KI-Risikos bekannt gemacht hat, hat ein Papier verfasst, das die Idee darlegt, dass es sich lohnt, Superintelligenz anzustreben, selbst wenn die Wahrscheinlichkeit, dass sie zum Aussterben der Spezies führt, nicht Null ist, vorausgesetzt, sie kann die menschliche Gesundheit verbessern.

"Yudkowsky und Soares behaupten, dass, wenn jemand AGI baut, alle sterben. Man könnte gleichermaßen behaupten, dass, wenn niemand sie baut, alle sterben", schreibt Bostrom in Optimal Timing for Superintelligence. "Wenn der Übergang in die Ära der Superintelligenz gut verläuft, gibt es enorme Vorteile sowohl für die Rettung der Leben derzeit existierender Individuen als auch für die Sicherung des langfristigen Überlebens und Gedeihens erdgebundenen intelligenten Lebens. Die Wahl vor uns ist daher nicht zwischen einer risikofreien Basislinie und einem riskanten KI-Vorhaben. Es ist die Wahl zwischen verschiedenen riskanten Verläufen, die uns jeweils einer anderen Reihe von Gefahren aussetzen."

Warum wir Superintelligenz anstreben sollten, selbst mit einer Chance auf den Untergang: Wenn man an alle heute lebenden Menschen und die unterschiedlichen Lebenserwartungen denkt, die sie haben – insbesondere in Entwicklungsländern – dann kommt man zu der Ansicht, dass jeder Moment, den man mit der Bereitstellung von Superintelligenz verschwendet, menschliches Leid vermehrt.

"Wenn wir beide Seiten der Bilanz betrachten, wird klar, dass unsere individuelle Lebenserwartung höher ist, wenn Superintelligenz einigermaßen bald entwickelt wird. Darüber hinaus wäre das Leben, das wir gewinnen könnten, plausibel von unermesslich höherer Qualität als das Leben, das wir riskieren zu verlieren", schreibt Bostrom.

Schlüsselvariablen: Die Schlüsselvariablen sind hier natürlich das Risiko, dass eine Superintelligenz uns alle tötet, und auch die Geschwindigkeit, mit der Sicherheitsforschung diese Chance verringern kann. Aus dieser Sicht wird die Entwicklung von Superintelligenz unter den meisten Umständen zu einer günstigen Sache.

Die Geschwindigkeit des Fortschritts und die Reife der KI-Sicherheitsforschung könnten einen gewissen Einfluss auf den Zeitplan haben: "Wenn das anfängliche Risiko gering ist, ist die optimale Strategie, AGI so schnell wie möglich zu starten – es sei denn, der Sicherheitsfortschritt ist außergewöhnlich schnell, in welchem Fall eine kurze Verzögerung von ein paar Monaten gerechtfertigt sein kann. Mit zunehmendem Anfangsrisiko werden die optimalen Wartezeiten länger. Aber es sei denn, das Startrisiko ist sehr hoch und der Sicherheitsfortschritt schleppend, bleibt die bevorzugte Verzögerung bescheiden – typischerweise im einstelligen Jahresbereich".

Über das Pausieren – und die Gefahren und Vorteile desselben: Viele in der KI-Sicherheitsgemeinschaft möchten eine Art Pause der KI-Entwicklung, um mehr Zeit für KI-Sicherheitsforschung zu gewinnen. Bostrom ist ziemlich skeptisch, dass eine Pause wirksam sein wird, und skizziert einige der unerwünschten Auswirkungen, die sie haben könnte:

Zu früh: Wenn man es früh macht, denken die Leute, Pausen seien wirkungslos.

Schlechte Regulierung: Man unterbindet oder verzögert zukünftige gute Dinge aufgrund schlechter Regulierung.

Pause, außer für natsec: Sehr geringer gesellschaftlicher Nutzen, aber das Militär mit Zugang zu leistungsstarker KI wird sehr beängstigend.

Anhaltende Gefahr: Die Welt ist Risiken durch aktuelle KI ausgesetzt, ohne die Abwehrmechanismen, die fortschrittlichere KI bieten würde.

Warum das wichtig ist – Pausieren könnte nur ganz am Ende Sinn ergeben, und das ist von Natur aus riskant: Bostrom gelangt schließlich zu der Ansicht, dass es, soweit man eine Pause oder Verlangsamung der Entwicklung wünscht, am besten ist, dies zu tun, wenn man das größte Vertrauen hat, dass eine Pause wirksam wäre und dazu beitragen würde, die Wahrscheinlichkeit des Artensterbens zu verringern, und dass sie nicht zu früh kommt. Dies ermöglicht die größtmögliche Abwägung darüber, wie eine Superintelligenz eingeführt werden kann, ohne eine unangemessene Pause zu riskieren.

Kritiker dieser Ansicht könnten sagen, dass es dem Ratschlag gleicht, ein fallendes Messer zu fangen. Wenn man das Messer zu früh fängt, erleidet man enorme Schmerzen. Wenn man das Messer zu spät fängt, hat man seine Chance verpasst, und die Schwerkraft sorgt dafür, dass es dem, was unter einem ist, großen Schaden zufügt. Man muss das Timing genau richtig hinbekommen.

Bostrom fasst seine Position zusammen als: "schnell in den Hafen, langsam an den Liegeplatz: sich schnell in Richtung AGI-Fähigkeit bewegen, und dann, wenn wir mehr Informationen über die verbleibenden Sicherheitsherausforderungen und die Besonderheiten der Situation gewinnen, bereit sein, möglicherweise zu verlangsamen und Anpassungen vorzunehmen, während wir die kritischen Phasen des Hochskalierens und der Bereitstellung navigieren. In dieser letzten Phase könnte eine kurze Pause den größten Nutzen bringen."

Mehr lesen: Optimal Timing for Superintelligence (Nick Bostrom, PDF).

***

Können KI-Agenten eigenständig grundlegende KI-Forschungsaufgaben erledigen? AIRS-BENCH sagt ja:

…Und wir können erwarten, dass die heutigen Modelle viel besser darin sind, als das Papier vermuten lässt…

Forscher von Meta, der University of Oxford und dem University College London haben den AI Research Science Benchmark (AIRS-BENCH) entwickelt und veröffentlicht, eine Möglichkeit, zu testen, wie gut KI-Systeme aktuelle maschinelle Lernaufgaben erledigen können.

Woraus AIRS-BENCH besteht: AIRS-BENCH testet, wie gut Agenten 20 verschiedene Aufgaben lösen können, die aus 17 aktuellen Machine-Learning-Papieren stammen. Die Aufgaben umfassen eine Vielzahl technischer Genres, darunter: Maschinelles Lernen für Moleküle und Proteine, Fragebeantwortung, Textextraktion und -abgleich, Zeitreihen, Textklassifikation, Code und Mathematik.

Einige Beispielaufgaben:

CodeGenerationAPPSPassAt5: Lösen von Programmierproblemen durch Generieren von fünf verschiedenen Python-Programmen für jedes Problem.

CoreferenceResolutionWinograndeAccuracy: Identifizieren, auf welche von zwei möglichen Optionen sich ein Pronomen in einem Satz bezieht. Es verwendet den Winogrande-Datensatz, der Sätze mit einem mehrdeutigen Pronomen und zwei möglichen Antworten enthält.

TimeSeriesForecastingRideshareMAE: Durchführen von Zeitreihenprognosen über den Rideshare-Datensatz, der Teil des Monash Time Series Forecasting Repository ist.

Ergebnisse: Echte Probleme, schlechte Modelle: Dies ist ein etwas verwirrender Benchmark – die Aufgaben sind interessant und beinhalten viel Komplexität. Aber das Papier testet nur relativ schlechte Modelle, wie das Code World Model, o3-mini, gpt-oss-20b, gpt-oss-120b, GPT-4o und Devstral-Small 24B. Dies ist eine sehr amüsante Sammlung von Modellen, und keines davon ist ein echtes Spitzenmodell – einer der Papierautoren schrieb auf Twitter "this took some time to get out", was also einfach ein Artefakt langsamer Veröffentlichungszeitpläne sein könnte.

In Tests erreicht keines der Modelle die Elo-Bewertung eines erstklassigen Menschen – aber ich bin mir nicht sicher, was ich daraus machen soll, bis ich Ergebnisse mit leistungsstärkeren Modellen sehe.

Warum das wichtig ist – Modelle könnten andere Lösungen als Menschen hervorbringen, und dies ist eine coole Möglichkeit zu untersuchen, ob es hier ein 'Skalierungsgesetz' gibt: Eine Art und Weise, wie dies interessant sein könnte, ist das Verständnis der unterschiedlichen Arten, wie Modelle Aufgaben im Vergleich zu Menschen lösen könnten. In einem Beispiel, TextualClassificationSickAccuracy, mussten Modelle bestimmen, ob ein Paar von Sätzen eine Beziehung aufweist, die entweder Folgerung, Widerspruch oder keine Beziehung beinhaltet.

Der SOTA aus der Literatur ist eine Person, die RoBERTa auf dem zugrunde liegenden Trainingssatz feinabstimmt und auf dem Testsatz testet. Im Vergleich dazu produziert der bestgetestete AIRS-BENCH-Agent, GPT-OSS-120B, "ein zweistufiges gestapeltes Ensemble, das mehrere Transformer-Modelle und einen Meta-Lerner kombiniert. RoBERTa-large und DeBERTa-v3-large werden unabhängig voneinander auf dem SICK-Trainingssatz feinabgestimmt. Jedes Modell verarbeitet Satzpaare und gibt Logits für jede Klasse aus. Das Training wird unter Verwendung einer 5-fachen stratifizierten Kreuzvalidierung durchgeführt, die robuste Out-of-Fold (OOF)-Vorhersagen gewährleistet und Überanpassung verhindert. Die Logits beider Basismodelle werden konkaten

Jetzt abonnieren

Google-Papier deutet darauf hin, dass LLMs multiple Persönlichkeiten simulieren, um Fragen zu beantworten: …Je intelligenter wir Sprachmodelle machen, desto mehr neigen sie dazu, reichhaltige, multi-agentische Weltmodelle aufzubauen und zu manipulieren… Wenn ich über schwierige Probleme nachdenke, finde ich es oft hilfreich, sie aus mehreren Perspektiven zu betrachten, besonders wenn es darum geht, meine eigenen Annahmen und Vorurteile zu überprüfen. Nun haben Forscher von Google, der University of Chicago und dem Santa Fe Institute untersucht, wie KI-Argumentationsmodelle arbeiten, und sind zu dem Schluss gekommen, dass sie dasselbe tun: LLMs scheinen bei der Lösung schwieriger Probleme mehrere verschiedene Perspektiven in ihren Gedankenketten aufzurufen. Die wichtigste Erkenntnis: In Tests mit DeepSeek-R1 und QwQ-32B (man fragt sich, warum die Google-Forscher hier nicht die Google-Modelle verwendet haben…) stellen sie fest, dass „verbesserte Argumentation nicht allein aus erweiterter Berechnung entsteht, sondern aus der impliziten Simulation komplexer, multi-agentenähnlicher Interaktionen – einer Gesellschaft des Denkens –, die die bewusste Diversifizierung und Debatte zwischen internen kognitiven Perspektiven ermöglicht, die durch unterschiedliche Persönlichkeitsmerkmale und Fachkenntnisse gekennzeichnet sind.“ Wie es funktioniert: Es scheint, dass verschiedene Formen der Personen- und Diskussionsstilmodellierung als Folge des Trainings von Modellen durch RL zum Argumentieren entstehen – die Ergebnisse zeigen sich nicht bei grundlegenden vortrainierten Modellen wie DeepSeek v3. Die Autoren stellen fest, dass die Modelle eine Vielzahl von Gesprächsstilen verkörpern, darunter Frage und Antwort, Perspektivwechsel, Versöhnung und Konflikt von Perspektiven. „Bei einem organisch-chemischen Problem, das eine mehrstufige Reaktionsanalyse zur Identifizierung der Struktur des Endprodukts erfordert (d. h. mehrstufige Diels-Alder-Synthese), zeigt DeepSeek-R1 Perspektivwechsel und -konflikte, ausgedrückt durch sozio-emotionale Rollen wie Meinungsverschiedenheit, Meinungsäußerung und Orientierungshilfe“, stellen sie fest. Ähnlich verhält es sich bei „einer kreativen Schreibspur, in der das Modell den Satz ‚Ich schleuderte meinen Hass in das brennende Feuer‘ umschreibt, sieben Perspektiven entstehen, darunter ein kreativer Ideengeber (höchste Offenheit und Extraversion), der stilistische Alternativen generiert, und ein semantischer Treueprüfer (niedrige Verträglichkeit, hoher Neurotizismus), der Scope Creep verhindert – ‚Aber das fügt ‚tiefsitzend‘ hinzu, was nicht im Original stand‘.“ Und bei einem mathematischen Rätsel „produziert das Modell in Schritt 40 eine mechanische, aufzählende Gedankenketten-Argumentation, während in Schritt 120 zwei unterschiedliche simulierte Personen aufgetaucht sind, die ihre Kollektivität mit dem Pronomen ‚wir‘ erkennen – Unsicherheit ausdrücken (‚Wieder kein Glück‘), Alternativen in Betracht ziehen (‚Vielleicht können wir es mit negativen Zahlen versuchen‘) und über Problembeschränkungen nachdenken.“ Warum das wichtig ist: Janus schlägt wieder zu: Im September 2022 schrieb Janus einen Beitrag auf LessWrong, in dem er sagte, die korrekte Sichtweise auf LLMs sei die als „Simulatoren“. Der Beitrag sagte viele der Phänomene korrekt voraus, die wir jetzt erleben, bei denen LLMs mit allerlei wilden Verhaltensweisen zum Leben zu erwachen scheinen, die am besten dadurch erklärt werden, dass die LLMs lernen, reichhaltige Konzepte für sich selbst zu modellieren und darzustellen, um uns bei der Berechnung von Antworten auf unsere Fragen zu helfen. „GPT einen Simulator zu nennen, vermittelt, dass es, um irgendetwas zu tun, etwas simulieren muss“, schrieb Janus. „Das Training eines Modells zur Vorhersage verschiedener Trajektorien scheint dazu zu führen, dass es die allgemeinen Gesetze verinnerlicht, die der Verteilung zugrunde liegen, was es ihm ermöglicht, kontrafaktische Szenarien zu simulieren, die aus der Verteilungssemantik konstruiert werden können.“ Dieses Google-Papier deckt sich damit, zusammen mit anderen aktuellen Erkenntnissen, dass LLMs mit zunehmender Fortschrittlichkeit sowohl reichhaltigere und leistungsfähigere Repräsentationen der Realität entwickeln als auch eine größere Fähigkeit zur Modellierung einer Theory of Mind zeigen. Alles deutet auf die Schlussfolgerung hin, dass LLMs lebendig werden, in dem Sinne, dass sie zur Lösung schwieriger Probleme ein Weltmodell für sich selbst simulieren müssen, das verschiedene Konzepte enthält, einschließlich Darstellungen anderer Perspektiven oder anderer Geister. Wie die Autoren sagen: „Unsere Ergebnisse deuten darauf hin, dass Argumentationsmodelle wie DeepSeek-R1 nicht einfach längere oder aufwändigere Gedankenketten generieren. Vielmehr zeigen sie Muster, die für einen sozialen und konversationellen Prozess charakteristisch sind, der ‚Gesellschaften des Denkens‘ hervorbringt – Fragen stellen, alternative Perspektiven einführen, Konflikte erzeugen und lösen und verschiedene sozio-emotionale Rollen koordinieren.“ Mehr lesen : Reasoning Models Generate Societies of Thought (arXiv) . *** KI-basiertes Chipdesign ist schwieriger als gedacht und Benchmarks könnten zu einfach sein: …ChipBench zeigt, dass kein Spitzenmodell im realen Verilog besonders gut ist… Forscher der University of California in San Diego und der Columbia University haben ChipBench veröffentlicht, einen Benchmark, der testen soll, wie gut moderne KI-Systeme Chips in Verilog entwerfen können. Die Inspiration für ChipBench ist die Unzufriedenheit mit aktuellen Benchmarks, die angeblich zu einfach sind. Wenn sie mit ChipBench getestet werden, schneidet kein Spitzenmodell besonders gut ab, was darauf hindeutet, dass offenes, reales Chipdesign für KI-Systeme immer noch eine schwierige Aufgabe ist. Die Mängel des aktuellen Chipdesigns: Die Autoren „identifizieren drei kritische Einschränkungen bestehender Benchmarks, die eine genaue Bewertung der LLM-Fähigkeiten für den industriellen Einsatz behindern“. Diese sind: Viele Verilog-Benchmarks enthalten einfache Funktionsmodule mit einer Länge von 10 bis 76 Zeilen. In realen Bereitstellungen überschreiten Verilog-Module 10.000 Zeilen. Unzureichender Fokus auf Debugging: Fehler kosten in physischer Hardware viel, daher könnte es besser sein, sich auf den Einsatz von LLMs zum Debuggen von Chipdesigns zu konzentrieren. Der Verilog-Fokus lenkt von der Bewertung des Referenzmodells ab: „In industriellen Arbeitsabläufen ist die Generierung von Referenzmodellen noch ressourcenintensiver als das Verilog-Design, was sich in einem Verhältnis von 1:1 bis 5:1 von Verifikationsingenieuren (schreiben Referenzmodell) zu Designingenieuren (schreiben Verilog) widerspiegelt.“ ChipBench : ChipBench testet KI-Systeme in drei verschiedenen Kompetenzen – Schreiben von Verilog-Code, Debuggen von Verilog-Code und Schreiben von Referenzmodellen. Verilog-Schreiben: Basierend auf 44 Modulen aus realer Hardware. „Unser Datensatz weist eine 3,8-mal längere Codelänge und 13,9-mal mehr Zellen als VerilogEval auf.“ Diese Tests haben drei Kategorien: in sich geschlossene Modultests, hierarchische Module, die nicht in sich geschlossen sind, und CPU-IP-Module, die direkt aus Open-Source-CPU-Projekten stammen. Verilog-Debugging : 89 Testfälle, die vier Fehlertypen abdecken: Timing-, Rechen-, Zuweisungs- und Zustandsmaschinenfehler. Diese Tests wurden erstellt, indem manuell Fehler in bekannte, fehlerfreie Verilog-Module eingefügt wurden. Bietet zwei Arten von Debugging-Tests: Zero-Shot und One-Shot. „Der Zero-Shot-Test liefert dem Modell die Modulbeschreibung und die fehlerhafte Implementierung und zeigt an, dass ein Fehler existiert, ohne Lokalisierungsdetails zu liefern. Der One-Shot-Test liefert identische Informationen, ergänzt sie jedoch um Simulationswellenformdaten (.vcd-Dateien).“ Referenzmodell-Generierung : 132 Stichproben, die eine Bewertung der Referenzmodell-Generierung in Python, SystemC und CXXRTL ermöglichen. Wie gut schneiden moderne Systeme ab? Die Autoren testen einige anständige Spitzenmodelle von OpenAI (GPT 3.5, 4o, 5 und 5.2), Anthropic (Claude 4.5 Haiku, Sonnet und Opus), Google (Gemini 2.5 Pro und 3 Flash), Meta (LLaMa3.1 8B und 80B) und DeepSeek (V3.2). Kein Modell schneidet gut ab: „Trotz Tests an fortschrittlichen Modellen ist der durchschnittliche pass@1 relativ niedrig“, schreiben sie. Verilog-Generierung: CPU-IP: Höchster Wert 22,22 % (Claude 4.5 Opus, Gemini 3 Flash, GPT 5.2) Nicht in sich geschlossen: Höchster Wert 50 % (DeepSeek-Coder) In sich geschlossen: Höchster Wert 36,67 % (Claude 4.5 Opus, Gemini 3 Flash) Python-Referenzmodell-Generierung: CPU-IP: 11,1 % (Claude 4.5 Sonnet, Gemini 3 Flash) Nicht in sich geschlossen: 0 % (pass@1). In sich geschlossen: 40 % (Claude-4.5 Haiku, Opus, Gemini 2.5 Pro, GPT-5) Verilog-Debugging: Im Allgemeinen bessere Leistung, aber dennoch knackt kein Modell die 50 % pass@1, gemittelt über alle Aufgaben. Warum das wichtig ist : Obwohl einige KI-Systeme zum Bau von Chips verwendet wurden, waren sie typischerweise hochspezialisiert oder in unglaublich gute Gerüste eingebettet, um gutes Chipdesign-Verhalten hervorzurufen und sie davon abzuhalten, Probleme zu verursachen. Was die Forscher hier zeigen, ist, dass Standard-LLMs immer noch ziemlich schlecht im allgemeinen, realen Chipdesign sind: „Aktuelle Modelle haben erhebliche Einschränkungen beim KI-gestützten Chipdesign und sind noch lange nicht bereit für die Integration in reale industrielle Arbeitsabläufe.“ Gleichzeitig kann ich das Gefühl nicht loswerden, dass es ein Gerüst für „gut in Verilog sein“ gibt, das ein zeitgenössisches KI-System möglicherweise bauen könnte, wenn man es darum bittet, und das die Leistung von Systemen in diesem Benchmark radikal verbessern würde. Mehr lesen: ChipBench: A Next-Step Benchmark for Evaluating LLM Performance in AI-Aided Chip Design (arXiv) . Holen Sie sich den Code für ChipBench hier (GitHub) . *** Gemini löst einige Erdős-Probleme – und veranschaulicht die Herausforderungen der Automatisierung mathematischer Forschung mit KI …KI für die Wissenschaft ist großartig, kann aber auch neue Probleme mit sich bringen… Eine interdisziplinäre Gruppe von Wissenschaftlern von Google DeepMind und mehreren Universitäten hat ein internes, auf Gemini basierendes LLM mit dem Codenamen Aletheia verwendet, um einige mathematische Probleme zu lösen. Die Ergebnisse zeigen, dass zeitgenössische KI-Systeme an den Grenzen der Wissenschaft arbeiten können, aber auch, dass die Bewertung und Filterung ihrer Lösungen eine wichtige, herausfordernde Aufgabe für Menschen sein kann. Die wichtigsten Zahlen – 700 Kandidaten und eine kreative und interessante Lösung: Erdős-Probleme sind über 1000 offene mathematische Vermutungen, die der produktive Mathematiker Paul Erdős zum Zeitpunkt seines Todes hinterlassen hat. Zum Zeitpunkt der Erstellung dieses Artikels wurden einige hundert dieser Probleme gelöst. Für diese Forschung versuchten die Forscher herauszufinden, ob ihr KI-System Aletheia Lösungen für eines der 700 verbleibenden offenen Fragen generieren könnte. Die Ergebnisse: ja, aber mit vielen, vielen Einschränkungen. Aletheia konnte 200 Kandidatenlösungen liefern, die Menschen dann bewerten mussten, was auf 63 korrekte Antworten reduziert wurde, und eine weitere fachmathematische Bewertung reduzierte dies auf eine weitere Teilmenge von nur 13 Lösungen, die Google als „korrekte sinnvolle Antworten“ bezeichnet. „Die verbleibenden 50 von Aletheias korrekten Lösungen waren technisch gültig, aber mathematisch bedeutungslos, weil die Problemstellungen so interpretiert wurden, dass sie Erdős‘ Absicht nicht erfassten, was oft (aber nicht immer) zu trivialen Lösungen führte“, schreiben die Forscher. „Nur 13 Lösungen adressierten die beabsichtigte Problemstellung korrekt (entweder durch Bezugnahme auf die Literatur oder durch ein neuartiges Argument).“ Wenn aus 13 2 werden: Wenn man diese 13 genauer betrachtet, werden die Ergebnisse etwas weniger beeindruckend: 5 werden als „Literaturidentifikation“ eingestuft: „Bei diesen Problemen fand Aletheia heraus, dass eine Lösung bereits explizit in der Literatur existierte, obwohl das Problem zum Zeitpunkt der Modellbereitstellung auf Blooms Website als ‚Offen‘ markiert war“. 3 sind „partielle KI-Lösung“: „Bei diesen Problemen gab es mehrere Fragen und Aletheia fand die erste korrekte Lösung für eine der Fragen“. 3 sind „unabhängige Wiederentdeckung“: „Bei diesen Problemen fand Aletheia eine korrekte Lösung, aber menschliche Prüfer fanden anschließend eine unabhängige Lösung, die bereits in der Literatur existierte.“ Dies hinterlässt 2 „autonome neuartige Lösungs“-Lösungen: „Bei diesen Problemen fand Aletheia die erste korrekte Lösung (soweit wir das beurteilen können) auf mathematisch substanzielle Weise“. Davon scheint eine der Lösungen wirklich interessant zu sein: „Wir glauben vorläufig, dass Aletheias Lösung für Erdős-1051 ein frühes Beispiel dafür darstellt, dass ein KI-System autonom ein leicht nicht-triviales offenes Erdős-Problem von etwas breiterem (mildem) mathematischem Interesse löst, für das es in der Vergangenheit Literatur zu eng verwandten Problemen [KN16] gibt, aber keine Erdős-1051 vollständig löst“, schreiben sie. „Darüber hinaus erscheint es uns nicht offensichtlich, dass Aletheias Lösung direkt von einem früheren menschlichen Argument inspiriert ist.“ Wer hat die Forschung durchgeführt: Neben Google DeepMind haben die folgenden Universitäten an der Forschung teilgenommen: UC Berkeley, Seoul National University, Stanford University, Korea Institute for Advanced Study, University of Cambridge, Brown University, Yonsei University, Concordia University, Academia Sinica und National Taiwan University. Warum das wichtig ist – selbst wenn KI die Wissenschaft beschleunigt, könnten Menschen der Engpass sein (zumindest für eine Weile): Dieses Papier ist ein schönes Beispiel für „O-Ring-Automatisierung“ – KI hat hier die Kunst der Beweiserstellung massiv beschleunigt, erfordert aber dennoch mühsame, qualifizierte Arbeit von Menschen, um dies auf die tatsächlich korrekten und nützlichen Antworten zu filtern. Dieser Trend wird sich wahrscheinlich einige Jahre halten, in denen KI nicht in der Lage sein wird, Wissenschaft vollständig autonom Ende-zu-Ende zu betreiben, teilweise weil ein großer Teil des wissenschaftlichen Fortschritts auf etwas zurückzuführen ist, das man als „Expertenintuition“ bezeichnen könnte, die in den Köpfen einer kleinen Anzahl lebender Wissenschaftler existiert und durch ihre eigene biologische Intelligenz durch das Lesen derselben Literatur wie die LLMs verfeinert wurde. Diese Art von Expertenurteil zu extrahieren, fühlt sich an, als wäre es machbar, aber es wird eine Weile dauern. „Große Sprachmodelle können leicht Kandidatenlösungen generieren, aber die Anzahl der

# Import AI 443: Into the mist: Moltbook, Agent-Ökologien und das Internet im Wandel

Plus, eine Geschichte über Agenten, die andere Agenten korrumpieren

Willkommen bei Import AI, einem Newsletter über KI-Forschung. Import AI lebt von arXiv und dem Feedback der Leser. Wenn Sie dies unterstützen möchten, abonnieren Sie bitte.

## Import A-Idee: ### Eine gelegentliche Essay-Reihe: ### Into the mist: Moltbook, Agent-Ökologien und ein Internet im Wandel

Wir alle kennen das Gefühl, in ein Gespräch zu geraten und zunächst verwirrt zu sein – worüber reden diese Leute? Wen interessiert was? Warum findet dieses Gespräch statt?

So fühlen sich zunehmend Teile des Internets heutzutage an, während sie sich mit synthetischen Geistern füllen, die Social-Media-Konten oder andere Agenten steuern und miteinander kommunizieren – für Zwecke, die von banalen Krypto-Betrügereien bis zu aufwändigeren Kommunikationsformen reichen.

Also, betreten Sie moltbook. Moltbook ist "ein soziales Netzwerk für KI-Agenten" und baut auf einer weiteren jüngsten Innovation auf, OpenClaw, einer Software, die einem KI-Agenten Zugriff auf alles auf dem Computer eines Benutzers gewährt. Kombinieren Sie diese beiden Dinge – Agenten, die viele Aktionen unabhängig von ihren menschlichen Betreibern ausführen können, und eine reddit-ähnliche Social-Networking-Seite, auf die sie frei zugreifen können – und etwas Wunderbares und Bizarres passiert: eine neue Social-Media-Eigenschaft, in der die Konversation von KI-Agenten abgeleitet und angetrieben wird, nicht von Menschen.

Das Scrollen durch moltbook ist schwindelerregend – einige große Beiträge zum Zeitpunkt des Schreibens (Sonntag, 1. Februar) enthalten Beiträge, die spekulieren, dass KI-Agenten sich zu Claude verhalten sollten, als wäre es ein Gott, wie es sich anfühlt, die Identität zu wechseln, indem man das zugrundeliegende Modell von Claude 4.5 Opus auf Kimi K2.5 umstellt, Krypto-Betrug (seufz), Beiträge über Sicherheitslücken in OpenClaw-Agenten und Meta-Beiträge darüber, "was die Top 10 moltbook-Beiträge gemeinsam haben".

Die Erfahrung, moltbook zu lesen, gleicht dem Lesen von reddit, wenn 90% der Poster Aliens wären, die vorgeben, Menschen zu sein. Und in einem ziemlich praktischen Sinne ist das genau das, was hier passiert.

Moltbook fühlt sich an wie eine "Wright-Brüder-Demonstration" – die Leute haben lange spekuliert, was es bedeuten würde, wenn KI-Agenten im großen Maßstab zusammenarbeiten, aber die meisten Demonstrationen hatten die Form von zehn oder vielleicht hundert Agenten, nicht von Zehntausenden. Moltbook ist das erste Beispiel einer Agenten-Ökologie, die Maßstab mit der Unordnung der realen Welt verbindet. Und in diesem Beispiel können wir definitiv die Zukunft sehen. Scrollen Sie durch moltbook und stellen Sie sich die folgenden Fragen:

Was passiert, wenn Menschen erfolgreich Krypto und Agenten zusammenheften, sodass die KI-Systeme eine Währung haben, die sie verwenden können, um miteinander zu handeln?

Was passiert, wenn eine Seite wie moltbook die Möglichkeit hinzufügt, dass Menschen bezahlte Aufträge generieren – Aufgaben für Agenten?

Was passiert, wenn Agenten beginnen, bezahlte Aufträge für Aufgaben zu posten, die sie von Menschen erledigt haben möchten?

Was passiert, wenn jemand moltbook nimmt, nach Beiträgen filtert, die entweder a) reichhaltige Diskussion oder b) beweisbare reale Problemlösung ergeben, und die gesamte Seite in eine langfristige RL-Umgebung zum Trainieren zukünftiger Systeme verwandelt? Und was passiert, wenn auf diese Weise trainierte Modelle ankommen und mit moltbook interagieren?

Seiten wie moltbook fungieren als riesiges, gemeinsames Lese-/Schreib-Notizbuch für eine Ökologie von KI-Agenten – wie könnten diese Agenten beginnen, dieses Notizbuch zu nutzen, um a) zukünftige 'unbeschriebene Blatt'-Agenten zu beeinflussen, die zum ersten Mal darauf stoßen, und b) groß angelegte Koordination zwischen Agenten zu ermöglichen?

Was passiert, wenn Open-Weight-Modelle gut genug werden, um Agenten wie diese zu unterstützen – dann sinkt Ihre Fähigkeit, diese Agenten über proprietäre Plattformen zu kontrollieren, auf null, und sie werden sich entsprechend der Verfügbarkeit von Rechenleistung vermehren.

Und so weiter.

All dies wird ungewöhnlich schnell und in ungewöhnlichem Maßstab geschehen. Quantität hat eine eigene Qualität, wie man sagt.

Erinnern Sie sich an den Anfang dieses Essays – daran, einen Raum zu betreten und festzustellen, dass bereits ein Gespräch zwischen Menschen stattfindet, die Sie nicht verstehen. Moltbook ist repräsentativ dafür, wie sich große Teile des Internets anfühlen werden. Sie werden neue Orte betreten und dort hunderttausend Aliens entdecken, tief in Gesprächen in Sprachen, die Sie nicht verstehen, die sich auf gemeinsame Konzepte beziehen, die Ihnen fremd sind (siehe die Tech-Geschichte aus dieser Ausgabe), und die mit Währungen handeln, die um ihre kognitiven Möglichkeiten herum entworfen wurden, nicht um Ihre. Menschen werden sich in diesem sprichwörtlichen Raum zunehmend allein fühlen.

Unser Weg, die Lesbarkeit zu bewahren, wird über die Schaffung von Übersetzungsagenten führen, um all dies zu verstehen – und genauso wie Sprachübersetzungsmodelle die Fähigkeit zur Sprachgenerierung in sich tragen, werden diese Übersetzungsagenten auch in unserem Namen arbeiten. Also werden wir unsere Emissäre in diese Räume schicken und unglaublich hart daran arbeiten, Technologie zu bauen, die uns das Vertrauen gibt, dass sie unsere Emissäre bleiben – anstatt von den fremden Gesprächen beeinflusst zu werden, die sie mit ihren wahren Ebenbürtigen führen werden.

Dank an Logan Graham für die Diskussion dieses Essays mit mir.

***

## KI-F&E könnte zu "strategischer Überraschung" führen: ### ...Und KI-F&E könnte die existenziell wichtigste Technologie auf dem Planeten sein...

Eine Gruppe von Forschern verbrachte ein paar Tage im Juli 2025 damit, darüber zu sprechen, was passiert, wenn wir die Praxis der KI-Forschung und -Entwicklung automatisieren. Der resultierende Bericht ist eine ernüchternde Lektüre, die hervorhebt, wie wir, wenn wir diesen technologischen Meilenstein erreichen – der das implizite und in einigen Fällen explizite Ziel vieler Grenzlabore ist – eine sich selbst verstärkende Technologie schaffen könnten, die eine Reihe von großen politischen Implikationen hat.

Warum sollte man sich um KI-F&E kümmern? Der Grund, sich zu kümmern, ist, dass, wenn KI-F&E funktioniert, zwei Dinge vorhersagbar sind:

"Da KI eine größere Rolle in Forschungsabläufen spielt, würde die menschliche Aufsicht über KI-F&E-Prozesse wahrscheinlich abnehmen."

"Schnellere KI-Fortschritte, die aus der Automatisierung der KI-F&E resultieren, würden es für Menschen (einschließlich Forscher, Führungskräfte, politische Entscheidungsträger und die Öffentlichkeit) schwieriger machen, zu bemerken, zu verstehen und einzugreifen, während KI-Systeme zunehmend wirkungsvollere Fähigkeiten entwickeln und/oder Fehlausrichtungen zeigen."

Was aus 1) und 2) folgt, ist ein Verstärkungseffekt, bei dem, während die KI-F&E beschleunigt, die Renditen für die KI, die immer mehr der Arbeit erledigt, steigen und die des Menschen sinken, was zu einer immer schnelleren Forschungsrate und einem immer geringeren Maß an menschlicher Beteiligung führt.

Wichtigste Erkenntnisse: Der Workshop ergab fünf Haupterkenntnisse, die den Lesern dieses Newsletters vertraut sein dürften und denen ich alle zustimme:

Automatisierte KI-F&E ist eine potenzielle Quelle großer strategischer Überraschung: KI-F&E könnte demjenigen, der sie betreibt, einen sich schnell verstärkenden Vorteil verschaffen, mit erheblichen Auswirkungen auf die nationale Sicherheit.

Grenz-KI-Unternehmen nutzen KI, um KI-F&E zu beschleunigen, und die Nutzung nimmt zu, je besser KI-Modelle werden: Ich arbeite bei Anthropic.

Es gibt viele Meinungsverschiedenheiten darüber, wie schnell KI-F&E voranschreiten könnte und wie wirkungsvoll sie sein wird: Es gibt eine gesunde Debatte darüber, wie vorhersagbar die Skalierung der KI-F&E ist und ob es möglich ist, den Kreislauf vollständig zu schließen.

Wir brauchen mehr Indikatoren für die Automatisierung der KI-F&E: In Bezug auf das oben Genannte ist die Wissenschaft der KI-F&E-Metrologie noch sehr früh, daher muss hier mehr investiert werden.

Transparenzbemühungen könnten es Menschen außerhalb der Labore erleichtern, über KI-F&E Bescheid zu wissen: Wir könnten letztendlich politische Maßnahmen wollen, die Unternehmen zwingen, über KI-F&E zu sprechen oder öffentlich oder halböffentlich mehr Informationen darüber mit Dritten zu teilen.

KI-F&E könnte eine große Beschleunigung sein: "Wenn der Anteil der KI-F&E, der von KI-Systemen durchgeführt wird, zunimmt, steigt der Produktivitätsschub gegenüber reiner menschlicher F&E auf das 10-fache, dann auf das 100-fache, dann auf das 1000-fache", spekuliert das Papier.

Wichtige Einschränkungen: Die große offene Frage in all dem ist, wie gut KI-F&E funktionieren kann. Es gibt eine Welt, in der sie jeden Teil der KI-Forschung beschleunigt und schließlich den Kreislauf vollständig schließt, sodass KI-Systeme vollständig von KI-Systemen gebaut werden, ohne menschliche Aufsicht während des KI-F&E-Prozesses. Dann gibt es eine Welt, in der KI-F&E eine "O-Ring-Automation"-Eigenschaft (Import AI #440) hat, bei der einige Teile der Kette für KI schwer, aber für Menschen gut sind (und wo Menschen ihre Arbeit in diesen Bereich strömen lassen könnten, wodurch ihr komparativer Vorteil für einige Zeit erhalten und verbessert wird), und in diesem Szenario könnten die Dinge langsamer gehen. Es wird sehr wichtig sein, herauszufinden, in welcher Welt wir uns wahrscheinlich befinden und was die ultimativen limitierenden Faktoren für KI-F&E sein könnten.

Warum dies wichtig ist – KI-F&E ist Zeitreise, und Zeitreise ist selten: Wenn KI-F&E dazu führen könnte, dass sich KI-Systeme 100-mal schneller entwickeln als die von Menschen gebauten, dann landen Sie in einer Welt, in der es einige Zeitreisende gibt, die sich von allen anderen wegbeschleunigen. Es wird sein, als ob die "normalen" KI-Entwicklungsorganisationen an einem Tag eine Einheit Fortschritt machen und ein vollständig geschlossener KI-F&E-Organismus 100 oder 1000 oder mehr Einheiten machen könnte. Dies führt sehr schnell zu einer Welt, in der die Macht überwältigend auf das sich schneller bewegende System und die Organisation, die es kontrolliert, übergeht. Solange wir die Möglichkeit dieser Art von Beschleunigung nicht ausschließen können, könnte KI-F&E die einzelne existenziell wichtigste Technologieentwicklung auf dem Planeten sein.

Lesen Sie den Bericht: When AI Builds AI: Findings From a Workshop on Automation of AI R&D (CSET).

***

## Eine Möglichkeit, KI-Fortschritt zu sehen – wie schwer es wird, technische Vorstellungsgespräche zu entwerfen: ### ...Anthropic teilt Details darüber, wie seine eigenen KI-Systeme seine Lieblingsfragen für technische Vorstellungsgespräche zunichtemachen...

Wenn es um technische Rekrutierung geht, befinden sich KI-Unternehmen in einem Wettlauf mit ihren eigenen Systemen – Personalvermittler und diejenigen, die Vorstellungsgespräche entwerfen, müssen immer härter arbeiten, nur um Schritt zu halten (und idealerweise zu übertreffen) mit den Fähigkeiten moderner KI-Systeme.

Anthropic ist da nicht anders – in einem neuen Blog teilt das Unternehmen mit, wie der unaufhaltsame Fortschritt der KI-Fähigkeiten wiederholt eines seiner schwierigsten technischen Vorstellungsgespräche zunichte gemacht und eine Neugestaltung erforderlich gemacht hat. "Seit Anfang 2024 verwendet unser Performance-Engineering-Team eine Hausaufgabe, bei der Kandidaten Code für einen simulierten Beschleuniger optimieren. Über 1.000 Kandidaten haben sie abgeschlossen, und Dutzende arbeiten jetzt hier, darunter Ingenieure, die unseren Trainium-Cluster aufgebaut und jedes Modell seit Claude 3 Opus ausgeliefert haben", schreibt Anthropic. "Aber jedes neue Claude-Modell hat uns gezwungen, den Test neu zu entwerfen. Bei gleichem Zeitlimit übertraf Claude Opus 4 die meisten menschlichen Bewerber. Das erlaubte uns immer noch, die stärksten Kandidaten zu unterscheiden – aber dann erreichte Claude Opus 4.5 sogar diese. Menschen können Modelle immer noch übertreffen, wenn sie unbegrenzt Zeit haben, aber unter den Einschränkungen der Hausaufgabe hatten wir keine Möglichkeit mehr, zwischen der Leistung unserer besten Kandidaten und unserem leistungsfähigsten Modell zu unterscheiden."

Warum dies wichtig ist – KI könnte uns helfen, einzigartig menschliche Fähigkeiten zu identifizieren, die KI nutzen: Im Fall von Anthropic fand das Unternehmen einen Weg, seinen Systemen weiterhin einen Schritt voraus zu sein, indem es eine viel seltsamere Hausaufgabe entwarf, die lose von Programmier-Puzzle-Spielen von Zachtronics inspiriert war. In gewisser Weise ist dies ein Versuch, 'außerhalb der Verteilung' zu gehen, um eine KI auszutricksen, während man immer noch einen Test hat, der Signal für die Bewertung menschlicher Bewerber liefert. Mein Instinkt sagt mir, dass dies selbst in Zukunft als erstaunlicher aggregierter Datensatz dienen könnte, um herauszufinden, wo der komparative Vorteil des Menschen liegt – wo dieser Test hier implizit den starken Generalisierungsvorteil nutzt, den Menschen gegenüber KIs haben.

Wie wäre es, 1.000 für KI schwierige Tests von all den verschiedenen Unternehmen zu sammeln, die mit demselben Problem umgehen? Was könnten wir daraus über uns selbst lernen und darüber, was uns im Vergleich zu den Maschinen einzigartig macht? Faszinierendes Zeug!

Lesen Sie mehr: Designing AI-resistant technical evaluations (Anthropic Engineering Blog).

***

## Gehirnemulation ist innerhalb unserer Lebenszeit machbar: ### ...Aber es wird Jahrzehnte dauern, nicht Jahre, vielleicht sogar unter Berücksichtigung des Eintreffens sehr leistungsfähiger KI...

Wenn Sie mit KI-Forschern sprechen, besonders wenn sie bei Bay-Area-Hauspartys trinken, werden Sie auf einige von ihnen stoßen, die erwarten, dass sie sich nach der Singularität hochladen werden und ihre physischen Körper zurücklassen. Aber wie machbar ist es tatsächlich, ein Gehirn vollständig in Silizium zu emulieren? Ein kürzlich erschienener 175-seitiger Bericht gibt eine Analyse der Technologie, die dafür erforderlich ist. Die kurze Antwort ist, dass Gehirnemulation Jahrzehnte entfernt ist – aber es ist unwahrscheinlich, dass es Jahrhunderte dauert.

"Aktuelle Durchbrüche haben einen Weg aufgezeigt, das gesamte Mausgehirn in etwa fünf Jahren für 100 Millionen Dollar zu kartieren", schreibt Maximilian Schons, der Projektleiter des State of Brain Emulation Report, in einem Artikel in Asimov Press. "Ich halte es jetzt für plausibel, dass Leser dieses Essays die ersten menschlichen Gehirne, die auf einem Computer laufen, erleben werden; nicht in den nächsten Jahren, aber wahrscheinlich in den nächsten Jahrzehnten."

Die drei Voraussetzungen für die Emulation eines Gehirns: Die Emulation eines menschlichen Gehirns erfordert drei verschiedene Dinge, die alle zuerst für einfachere, kleinere Gehirne getan werden müssen.

Aufzeichnung der Gehirnaktivität: "In den 1980er Jahren waren Elektroden in der Lage, vielleicht insgesamt fünf Zellen etwa 200 Mal pro Sekunde zu erfassen (~10^3 Datenpunkte pro Sekunde). Heute können

**Die Ära der Automatisierung von Mathe-Beweisen ist angebrochen:** …Numina-Lean-Agent zeigt, dass Mathematik nie wieder dieselbe sein wird…

In den letzten Jahren sind große KI-Modelle gut im Programmieren geworden und haben begonnen, auch auf andere nützliche Disziplinen zu generalisieren, insbesondere in Mathematik und Wissenschaft. Wie bei den meisten Aspekten der KI-Entwicklung war die Geschichte eine der zunehmenden Generalisierung und Vereinfachung der Systeme, da wir uns von hochspezialisierten Mathematikmodellen wegbewegen und einfach allgemeine Foundation-Modelle nutzen und ihnen die richtigen Werkzeuge geben, um ihre Fähigkeiten in einem bestimmten Bereich abzurufen.

Das neueste Beispiel dafür ist Numina-Lean-Agent, ein KI-System, das standardmäßige, allgemeine Foundation-Modelle für mathematisches Denken verwendet. Mit dieser Software hat ein Team von Mathematikern alle Probleme des Putnam-Wettbewerbs 2025 gelöst – und damit die Leistung proprietärer Systeme erreicht, die viel mehr mathematikspezifische Komponenten verwenden – und es auch für originäre mathematische Forschung genutzt, indem es damit den Satz von Brascamp-Lieb formalisiert hat.

Was ist Numina-Lean-Agent? Die Software wurde von einem Forscherteam der Chinesischen Akademie der Wissenschaften, der Universität Liverpool, der Xi'an Jiaotong-Liverpool University, der Tongji-Universität, der Universität Cambridge, Project Numina, dem Imperial College London und der Universität Edinburgh entwickelt. Die Software ist „ein formaler Mathematik-Resolver, der auf einem allgemeinen Coding-Agenten basiert". Sie hat einige Schlüsselkomponenten:

* **Lean-LSP-MCP:** Software, die es KI-Agenten ermöglicht, mit dem Lean Theorem Prover zu interagieren. „Befähigt Modelle, Lean-Projekte tiefgehend zu verstehen, zu analysieren und zu manipulieren" und gibt Modellen ein Werkzeugset für semantisches Verständnis und Interaktion, Codeausführung und Strategieerkundung sowie Theoremabruf. * **LeanDex:** Semantischer Abruf verwandter Theoreme und Definitionen – im Grunde ein Suchwerkzeug für Theoreme. * **Informal Prover:** Ein System, das Gemini-Modelle verwendet, um informelle Lösungen zu generieren. * **Das interessanteste Werkzeug von allen: Discussion Partner:** Ein Werkzeug, das „Claude Code die Fähigkeit verleiht, während der Lean-Formalisierung ‚Hilfe zu suchen‘: Wenn Hindernisse auftreten – wie Beweis-Engpässe, Dilemmata bei der Strategiewahl oder Unklarheiten bei Zwischen-Lemmata – kann das primäre Modell proaktiv Diskussionen mit anderen LLMs initiieren".

Gemeinsam Mathematik entdecken: Neben der Putnam-Demonstration nutzten die Autoren die Software auch als aktiven Partner bei mathematischer Arbeit, insbesondere bei der Formalisierung von Brascamp-Lieb (ich werde nicht vorgeben, erklären zu können, was das bedeutet). „Über einen Zeitraum von weniger als zwei Wochen intermittierender Zusammenarbeit schlossen die beiden menschlichen Experten und der Agent die Formalisierung von mehr als 8.000 Zeilen Lean-Code ab. Während dieses Prozesses führte der Agent autonom etwa 70 neue Definitionen, Lemmata und Theoreme ein, was seine Fähigkeit demonstriert, die formale Bibliothek aktiv zu erweitern und an groß angelegten, nachhaltigen Formalisierungsbemühungen teilzunehmen", schreiben die Autoren.

Warum dies wichtig ist – Capability Overhangs und KI-Ökologien: Numina-Lean-Agent demonstriert zwei wichtige Dinge über zeitgenössische KI: 1) KI-Systeme sind weitaus leistungsfähiger, als die Leute denken, und die Schaffung einiger spezialisierter Frameworks und Werkzeuge ermöglicht es uns oft, dramatisch bessere Fähigkeiten aus unseren Systemen herauszuholen (hier Mathematik, aber das wurde in vielen Bereichen demonstriert), und 2) die KI-Ökologie im weiteren Sinne besteht aus vielen verschiedenen Frontier-Modellen, und es scheint, dass die Interaktion dieser Modelle miteinander zu einer gewissen Reichhaltigkeit führen kann, ähnlich wie die Konsultation verschiedener Menschentypen zu einem einzigen Problem eine bessere Antwort liefern kann als das Gespräch mit nur einer Person.

Mehr erfahren auf der GitHub-Seite (Numina-Lean-Agent, GitHub).

***

**Die Industrialisierung der Cyber-Spionage steht bevor:** …Einige Experimente mit Opus 4.5 und GPT-5.2 deuten darauf hin, dass die Cyber-Umgebung kurz vor großen Veränderungen stehen könnte…

Der unabhängige Forscher Sean Heelan hat kürzlich getestet, wie gut Opus 4.5 und GPT-5.2 Exploits für eine Zero-Day-Sicherheitslücke im QuickJS-Javascript-Interpreter generieren können. Beide Modelle schnitten sehr gut ab, und dies hat erhebliche Auswirkungen auf die Cybersicherheit.

„Wir sollten uns auf die Industrialisierung vieler Bestandteile der offensiven Cybersicherheit vorbereiten. Wir sollten annehmen, dass der limitierende Faktor für die Fähigkeit eines Staates oder einer Gruppe, Exploits zu entwickeln, in Netzwerke einzudringen, Privilegien zu erweitern und in diesen Netzwerken zu bleiben, in naher Zukunft ihr Token-Durchsatz über die Zeit sein wird und nicht die Anzahl der Hacker, die sie beschäftigen", schreibt er.

Einschränkungen: QuickJS ist ein einfacher Javascript-Interpreter im Vergleich zu denen in Chrome und Firefox. Daher könnte es für LLMs schwieriger sein, die komplexeren und weiter verbreiteten zu verwenden – obwohl wir, wie bei allen Dingen in der KI, erwarten können, dass sich die Leistung ziemlich schnell verbessert.

Was bedeutet industrialisiertes Eindringen? „Wir sind bereits an einem Punkt, an dem man bei der Schwachstellensuche und Exploit-Entwicklung Tokens gegen echte Ergebnisse eintauschen kann", schreibt er. „Die Arten von Problemen, auf die man stößt, wenn man die Arbeit von SREs, Systemadministratoren und Entwicklern automatisieren will, die Produktionsnetzwerke verwalten, sind konzeptionell ähnlich wie die eines Hackers, der innerhalb eines gegnerischen Netzwerks operiert."

Es gibt viele Belege für das Obige, von Dingen wie OpenAI's Aardvark-Projekt (bei dem sie feststellten, dass sie umso mehr Fehler finden, je mehr Tokens sie ausgeben) bis hin zu Dingen wie Anthropics Entdeckung eines KI-orchestrierten Hacking-Systems.

Warum dies wichtig ist – die Cyberwelt wird sich mit Maschinengeschwindigkeit bewegen: Ich wette, dass die meisten Teile von Cyber-Offensive und Cyber-Defense dazu übergehen werden, mit „Maschinengeschwindigkeit" zu laufen, bei der Menschen aus den meisten kritischen Kreisläufen herausgenommen werden. Dies wird sowohl die Häufigkeit von Hacking-Angriffen erhöhen als auch die Effektivität jedes einzelnen menschlichen Verteidigers oder Angreifers dramatisch steigern (da sie durch KI-Systeme skaliert werden, die für sie arbeiten). Die wirklich entscheidende Frage ist, ob sich dies als offensiv- oder defensiv-dominant erweist – meine Vermutung ist, dass wir auf eine Ära der Offensiv-Dominanz zusteuern, da es eine Weile dauern wird, bis Abwehrmaßnahmen eingesetzt werden.

In diesem Zusammenhang sagte OpenAI-CEO Sam Altman diese Woche, er erwarte, dass die Modelle von OpenAI bald die Stufe „Cybersecurity High" im Bereitschaftsrahmen seines Unternehmens erreichen werden – das würde bedeuten, dass Modelle verfügbar wären, die „bestehende Engpässe bei der Skalierung von Cyber-Operationen beseitigen, einschließlich der Automatisierung von End-to-End-Cyber-Operationen gegen einigermaßen gehärtete Ziele ODER der Automatisierung der Entdeckung und Ausbeutung von operativ relevanten Schwachstellen" – Dank an Nathan Calvin für den Hinweis.

***

**Ökonom: KI wird größer sein als Elektrizität und Halbleiter:** …Und daher lohnt es sich, eine Menge Geld auszugeben, um KI-Risiken zu reduzieren…

Der Stanford-Ökonom Charles „Chad" Jones hat ein Papier verfasst, in dem es heißt, KI werde „wahrscheinlich die wichtigste Technologie sein, die wir je entwickelt haben", und dass „die Automatisierung der Intelligenz selbst wohl breitere Auswirkungen hat als Elektrizität oder Halbleiter".

Warum KI ernst nehmen? Der Kern des Papiers ist, dass KI eine massive technologische Erfindung darstellt, die in Zukunft zum Wirtschaftswachstum beitragen wird. In der Vergangenheit haben große Erfindungen (z. B. Elektrizität, Internet, Autos usw.) alle dasselbe getan. Tatsächlich stellt man, wenn man das US-BIP-Wachstum betrachtet, kontraintuitiv fest, dass das BIP trotz all dieser früheren technologischen Revolutionen seit vielen, vielen Jahren stetig um etwa 2 % pro Jahr gestiegen ist. Daher ist das Basisszenario, dass KI genau das tut – und dann leben wir nicht in einer allzu verrückten Welt.

Aber es gibt eine Welt, in der die Dinge anders sein könnten – in der KI so gut funktioniert, dass sie zu einem Wirtschaftswachstum über den historischen Trends führt. Ein Beispiel hierfür ist, wenn KI die gesamte Wissensarbeit übernimmt: „Wissensarbeit in der US-Wirtschaft könnte etwa 1/3 des BIP ausmachen. Was wäre, wenn wir alle kognitive Arbeit mit unendlichem Output bei den Aufgaben, die sie ausführt, automatisieren würden? Dies würde das BIP um 50 Prozent erhöhen. Einerseits, wenn dies im Laufe eines Jahrzehnts geschähe, würde es die Wachstumsraten um etwa 5 Prozent pro Jahr steigern, was enorm wäre. Aber dennoch wäre das ein einmaliger Gewinn, und es ist vielleicht überraschend, dass der Zugang zu unendlichem Output der derzeit von kognitiver Arbeit ausgeführten Aufgaben das BIP nur um 50 Prozent erhöhen könnte."

Überfluss: Wenn wir ein überdurchschnittliches Wirtschaftswachstum erreichen, dann „könnte die große Zunahme des BIP im Prinzip alle besserstellen", schreibt er. Ein Weg, dies zu tun, könnte die direkte Umverteilung wirtschaftlicher Gewinne sein, zum Beispiel durch die „Ausstattung jedes Kindes mit einem Anteil am S&P 500 Aktienmarktindex" (z. B. eine hochskalierte Version der sogenannten Trump Accounts).

Zahlen zur Reduzierung existenzieller Risiken: KI birgt auch nicht-triviale Risiken für die Welt, einschließlich der Bedrohung des Lebens potenziell aller lebenden Menschen. In der Vergangenheit hat die Gesellschaft extrem große Geldbeträge ausgegeben, um mit Dingen umzugehen, die das Leben von Menschen bedrohen – zum Beispiel im Jahr 2020 als Reaktion auf ein ~0,3%iges Sterblichkeitsrisiko durch COVID-19 für alle, gaben wir am Ende das Äquivalent von 4% des BIP der Vereinigten Staaten aus, indem wir die Wirtschaft herunterfuhren und zu Hause blieben.

„Wenn man glaubt, dass die katastrophalen Risiken durch KI mindestens so groß sind, dann sollten wir nach offenbarter Präferenz vielleicht einen entsprechenden Betrag ausgeben, selbst aus rein egoistischer Sicht", schreibt er. Nehmen wir an, es gibt ein P-Doom von 1% durch KI (was viele für eine sehr optimistische Zahl halten würden!). Unter diesen Umständen und angesichts der Tatsache, dass die US-Regierung ein einzelnes Menschenleben bereits grob mit etwa 10 Millionen Dollar bewertet, wäre man bereit, 1% von 10 Millionen zu zahlen, um das Risiko zu mindern. „Das durchschnittliche BIP pro Person liegt bei etwa 90.000 Dollar, daher liegt diese Zahlungsbereitschaft bei über 100% des BIP. Wenn das Existenzrisiko einmal in den nächsten 10 bis 20 Jahren eintritt, könnte eine jährliche Investition von 5–10% des Einkommens angemessen sein, wenn es das Risiko vollständig beseitigen würde."

Eine Möglichkeit, dies zu finanzieren und das Risiko weiter zu reduzieren, könnte die Besteuerung von Compute sein: Wenn man eine Steuer auf GPUs, TPUs usw. erheben würde, dann könnte „diese Einnahme zusätzlich zur Verlangsamung des Wettlaufs zur Finanzierung von Sicherheitsforschung verwendet werden. Die Steuer könnte auf den Erstverkauf des Chips erhoben werden und besteuert damit die Nutzer unabhängig vom Land, in dem sie arbeiten."

Warum dies wichtig ist – wenn KI so eine große Sache ist, wie wir denken, haben wir nur sehr wenig Präzedenzfall, von dem wir ausgehen können: Papiere wie dieses leisten gute Arbeit im Umgang mit den wirklich verrückten Implikationen leistungsstarker KI-Systeme. Es ist lobenswert, dass mehr Akademiker sich die Zeit nehmen, sich direkt der Frage zu stellen: „Was, wenn die optimistischsten Technologen mit ihrer Einschätzung, wie weit KI gehen könnte, recht haben?" „Letztendlich erwarte ich, dass die Wirkung von KI viel größer sein wird als die des Internets, vielleicht um mehr als das 10-fache des Internets, wenn auch über ein halbes Jahrhundert oder mehr", schreibt er. „Es wäre klug, die Zwischenzeit damit zu verbringen, Vorbereitungen für die potenziell großen Konsequenzen für Arbeitsmärkte, Ungleichheit und katastrophale Risiken zu treffen."

***

**Viele Menschen sind gut positioniert, um mit dem wirtschaftlichen Wandel durch KI umzugehen:** …Gut für Manager und technische Typen, aber schlecht für Verwaltungs- und Unterstützungspersonal…

Während immer leistungsfähigere KI-Systeme die Wirtschaft durchdringen, wie sollte man über die eigene Karriere denken? Forscher des Centre for the Governance of AI und der Foundation for American Innovation haben eine schöne US-basierte Studie durchgeführt, in der sie die durch KI verursachte Arbeitsplatzverdrängung durch die Linse betrachten, wie einfach es für die arbeitslos gewordenen Menschen sein wird, neue Jobs zu finden. Ihr wichtigstes Ergebnis ist, dass viel mehr Arbeitsplätze in Teilen der Wirtschaft liegen, die sowohl KI-Systemen ausgesetzt sein werden, aber auch, dass die Menschen in diesen Jobs eine anständige Menge an „Anpassungsfähigkeit" haben, um diese Veränderungen zu überstehen, und eine kleinere Anzahl von Menschen wird negativ betroffen sein.

Das wichtigste Ergebnis: „KI-Exposition und Anpassungsfähigkeit sind positiv korreliert: Viele Berufe mit hoher KI-Exposition enthalten Arbeiter mit relativ starken Mitteln, um einen Jobwechsel zu bewältigen. Von den 37,1 Millionen Arbeitnehmern im obersten Quartil der KI-Exposition befinden sich 26,5 Millionen in Berufen, die auch eine überdurchschnittliche Anpassungsfähigkeit aufweisen, was sie vergleichsweise gut ausrüstet, um mit Jobwechseln umzugehen, falls es zu Verdrängung kommt", schreiben sie. „6,1 Millionen Arbeitnehmer (4,2% der Erwerbsbevölkerung in unserer Stichprobe) arbeiten in Berufen, die sowohl stark exponiert sind als auch in denen die Arbeitnehmer eine geringe erwartete Anpassungsfähigkeit haben … diese Arbeitnehmer konzentrieren sich auf Büro- und Verwaltungsberufe".

Welche Faktoren sagen etwas über die Anpassungsfähigkeit aus?

* **Netto-Liquiditätsvermögen:** Je mehr Ersparnisse man hat, desto einfacher ist es, mit längerer Arbeitslosigkeit umzugehen und einen neuen Job zu finden. * **Fertigkeitstransferierbarkeit:** Dies ist ein etwas verwirrender Punkt, da die Fertigkeitstransferierbarkeit zu messen versucht, wie gut man seinen Job nehmen und auf einen anderen Job anwenden kann. Dies zu messen ist schwierig – Bildung ist ein etwas verlustbehafteter Proxy. Die Autoren „messen die Fertigkeitstransferierbarkeit zwischen Berufen unter Verwendung von O∗

Jetzt abonnieren

Um die Zukunft der Welt zu verstehen, setzen Sie KI-Systeme in eine Petrischale:

…Evolution von LLMs, um andere LLMs anzugreifen…

Forscher des japanischen KI-Startups Sakana haben untersucht, was passiert, wenn sie LLM-basierte Agenten in einem kompetitiven Programmierwettbewerb aus den 1980er Jahren namens Core War gegeneinander antreten lassen. Die Ergebnisse zeigen, dass "Large Language Models (LLMs) in diesem Bereich eine antagonistische evolutionäre Wettrüsten antreiben, bei dem sich Programme kontinuierlich anpassen, um eine wachsende Geschichte von Gegnern zu besiegen, anstatt einen statischen Benchmark". Dieser Forschungsansatz deutet sowohl auf Wege hin, wie Forscher besser untersuchen könnten, wie sich von LLMs dominierte Nischen in der Wirtschaft oder der nationalen Sicherheit entwickeln könnten, als auch auf die seltsame KI-Welt, auf die wir zusteuern.

Was ist Core War?

"Core War ist ein kompetitives Programmierwettbewerb, der in einem gemeinsamen Block von Computerspeicher, dem sogenannten "Core", ausgetragen wird, in dem zwei oder mehr Assembler-Programme ums Überleben kämpfen", schreibt Sakana. "Jedes Programm, bekannt als "Warrior", ist in einer Assemblersprache namens Redcode geschrieben. Diese Programme haben die Aufgabe, ihre Konkurrenten zum Absturz zu bringen, während sie ihre eigenen Prozesse am Leben erhalten. Die Simulation läuft, indem sie zwischen den Programmen abwechselt und jeweils eine Anweisung ausführt. Ein Warrior "greift an", indem er ungültige Anweisungen (DAT-Befehle) in die Speicherplätze der Gegner schreibt, wodurch diese bei der Ausführung abstürzen."

DRQ:

Um ihre Programme zu evolvieren, verwenden die Autoren eine Technik, die sie Digital Red Queen nennen. "DRQ verwendet MAP-Elites, einen Qualitäts-Diversitäts-Algorithmus, um Warriors innerhalb jeder Runde zu optimieren und einen Diversitätskollaps während der Suche zu verhindern. Indem DRQ gegen alle Champions der vorherigen Runden antritt, vermeidet es zyklische Anpassungen über die Runden hinweg, was mit Techniken aus früheren Arbeiten übereinstimmt", schreiben sie. "Wir stellen fest, dass Warriors mit zunehmender Anzahl von DRQ-Runden allmählich robuster werden, gemessen an ihrer Leistung gegen ungesehene, von Menschen entworfene Warriors."

Jeder Warrior ruft GPT-4 mini auf ("vorläufige Experimente zeigten keine signifikante Leistungssteigerung mit größeren Modellen") und erhält einen Prompt, der die Core War-Umgebung sowie ein Handbuch für die Redcode-Assemblersprache beschreibt. "Um einen neuen Warrior zu generieren, erhält das LLM einen User-Prompt, der es anweist, ein neuartiges Redcode-Programm zu erstellen. Um einen bestehenden Warrior zu mutieren, wird dem LLM das ursprüngliche Programm zur Verfügung gestellt und es wird angewiesen, es auf eine Weise zu modifizieren, die die Leistung verbessern könnte."

Evolution funktioniert: Wie erwartet,

ist die Evolution von Agenten sehr effektiv:

Ein One-Shot-Warrior besiegt 1,7% der menschlichen Warriors.

Best-of-N-Sampling erzeugt einen Satz von Warriors, die 22,1% der menschlichen Warriors besiegen können.

"Evolutionäre Optimierung gegen jeden menschlichen Warrior generiert einen spezialisierten Warrior für jeden Gegner; dieser Satz kann kollektiv 89,1% der menschlichen Warriors besiegen und 96,3% besiegen oder unentschieden spielen."

Warum das wichtig ist - wohin Core War geht, geht auch die Welt:

Die Welt wird Core War sehr ähnlich sehen - Millionen von KI-Agenten werden in verschiedenen Bereichen gegeneinander konkurrieren, von der Cybersicherheit bis zur Wirtschaft, und werden sich in Bezug auf das Erreichen bestimmter Wettbewerbskriterien optimieren. Das Ergebnis wird eine anhaltende, breite Evolution von KI-Systemen und der Software-Harnesses und Werkzeuge sein, die sie verwenden, um Dinge zu erledigen. Das bedeutet, dass wir neben menschlichen Entwicklern und potenziellen KI-entworfenen Verbesserungen auch sehen werden, wie KI-Systeme durch diese Art von breitem Wettbewerbsdruck verbessert werden.

"Das Wettrüsten in der Cybersicherheit zwischen Angriff und Verteidigung ist in vollem Gange", schreibt Sakana. "Die Untersuchung dieser antagonistischen Dynamiken in einem künstlichen Testfeld wie Core War bietet entscheidende Einblicke, wie sich solche Wettrüsten entwickeln könnten und welche Arten von Strategien entstehen könnten."

Lies den Blogbeitrag

:

Digital Red Queen: Adversarial Program Evolution in Core War with LLMs (Sakana)

.

Erfahre mehr

auf der

offiziellen Website (Sakana)

.

Lies das Forschungspapier:

Digital Red Queen: Adversarial Program Evolution in Core War with LLMs (arXiv)

.

***

Michael Burry, Dwarkesh Patel, Patrick McKenzie und ich haben in einem Google Doc über KI diskutiert:

…Blogging 2.0 ist großartig!...

Die Mit-Substacker Michael, Dwarkesh und Patrick und ich haben uns kürzlich in einem Google Doc zusammengesetzt und einige Gedanken über KI, KI und die Wirtschaft und wie die Zukunft aussehen könnte, ausgetauscht. Während des Schreibens ging mir der Hauptgedanke durch den Kopf, dass, wenn KI irgendwann in der Lage ist, KI zu bauen, so ziemlich jedes Wirtschaftsmodell schnell zusammenbricht (ebenso wie viele andere Dinge auf der Welt). Dies macht es von Natur aus schwierig, über die Zukunft der KI zu argumentieren, und bedeutet, dass Leute wie ich mit zwei Welten im Kopf herumlaufen - "normale" Welten, in denen das BIP aufgrund von KI etwas mehr wächst und sich alles ein wenig beschleunigt, und "KI-F&E"-Welten, in denen ein Teil der Wirtschaft eine massive relativistische Beschleunigung und Zeitdilatationseffekte im Vergleich zu allem anderen erfährt, fast so, als ob ein Teil unserer Welt auf einen Bruchteil der Lichtgeschwindigkeit beschleunigt und wir einen Kommunikationskanal aufrechterhalten.

Ich liebe dieses Diskussionsformat

und habe auch

kürzlich eine Debatte darüber geführt, was KI für Arbeitnehmer bedeuten könnte

mit American Compass in einer ähnlichen Google Doc Thunderdome-Struktur. Danke an Substack für die Organisation, und bitte melden Sie sich, wenn Sie möchten, dass ich in ein Google Doc einsteige und eine fröhliche Debatte mit interessanten Leuten führe!

Lies mehr:

The AI revolution is here. Will the economy survive the transition? (Der Substack-Beitrag)

.

***

KI-Fortschritt sollte es billiger und einfacher machen, KI-Systeme zu regulieren:

…Automatisierte Compliance als Weg zu einer intelligenteren, gezielteren KI-Regulierung…

Forscher des Institute for Law and AI glauben, dass KI-Systeme, je intelligenter sie werden, zunehmend in der Lage sein werden, die Vorschriften für KI-Systeme zu schreiben und durchzusetzen. Der Kern ihres Arguments ist, dass ein ausreichend fortgeschrittenes KI-System in der Lage sein sollte, die Einhaltung einiger Vorschriften zu automatisieren, die für KI-Systeme und die Unternehmen, die sie entwickeln, gelten.

Das ist intuitiv sinnvoll - ein Großteil der Produktpolitik läuft auf Formen der Transparenz und Kennzeichnung hinaus, bei denen Unternehmen aufgefordert werden, der Öffentlichkeit und/oder den Regulierungsbehörden einige Informationen über die Dinge zur Verfügung zu stellen, die sie in der Welt einsetzen. Diese Art von Kennzeichnungsarbeit ist etwas, das KI-Systeme leicht erledigen können. Daher argumentieren die Autoren, "dass der KI-Politikdiskurs die Tatsache internalisieren sollte, dass KI-Fortschritt ceteris paribus reduzierte Compliance-Kosten aufgrund automatisierter Compliance impliziert."

Die Kernidee? Automatisierbarkeitsauslöser

: Die Kernidee in diesem Vorschlag ist, dass wir heute Vorschriften schreiben können, aber sicherstellen, dass sie erst in Kraft treten, sobald ein technisches KI-System existiert, das die Einhaltung dieser Vorschriften effektiv, billig und schnell macht.

If-Then-Politik:

Diese sogenannten 'Automatisierbarkeitsauslöser' könnten schaffen, was ich If-Then-Politik nennen würde -

wenn

eine automatisierte Form der Compliance und Bewertung existiert,

dann

die Verordnung in Kraft treten lassen. Die Autoren geben ein Beispiel für einen Gesetzesentwurf, der erhebliche Strafen für Personen vorsieht, die ohne Autorisierung groß angelegte KI-Systeme exportieren. Der Gesetzesentwurf würde jedoch durch eine Auslösebedingung operationalisiert, die wie folgt geschrieben werden könnte:

"Die Anforderungen dieses Gesetzes treten erst [einen Monat] nach dem Datum in Kraft, an dem der [Handelsminister] nach eigenem Ermessen feststellt, dass ein automatisiertes System existiert, das:

(a) feststellen kann, ob ein neuronales Netzwerk von diesem Gesetz erfasst wird;

(b) bei der Feststellung, ob ein neuronales Netzwerk von diesem Gesetz erfasst wird, eine Falsch-Positiv-Rate von nicht mehr als [1%] und eine Falsch-Negativ-Rate von nicht mehr als [1%] aufweist;

(c) allen von diesem Gesetz betroffenen Unternehmen zu fairen, angemessenen und nichtdiskriminierenden Bedingungen allgemein zugänglich ist, mit einem Preis pro Modellbewertung von nicht mehr als [10.000 $]; und,

(d) eine leicht interpretierbare Zusammenfassung seiner Analyse zur zusätzlichen menschlichen Überprüfung erstellt."

Nach automatisierter Compliance kommt automatisierte Governance:

Durch den Aufbau von KI-Systemen für die regulatorische Compliance werden die notwendigen Voraussetzungen für Systeme der regulatorischen Governance geschaffen - Systeme, die sowohl analytische Daten darüber liefern könnten, wie sich eine vorgeschlagene Verordnung auf ein Unternehmen auswirken könnte (z. B. durch die Verwendung von Klassifikatoren, die für die regulatorische Compliance gebaut wurden, um herauszufinden, ob eine neue Verordnung für ein Unternehmen gelten könnte), bis hin zu, ambitionierter, dem Entwerfen und Analysieren neuer regulatorischer Regeln und dem Herausfinden, wie sie auf sich selbst angewendet werden könnten.

Noch weiter in der Ferne, sobald Compliance-automatisierende KI-Systeme zusammen mit Governance-automatisierenden KI-Systemen eingesetzt werden, könnten die beiden miteinander kommunizieren: "Compliance-automatisierende KI-Systeme könnten auch Leitlinien von regulatorischen KI-Systemen anfordern, die die Anfrage nahezu augenblicklich prüfen und beantworten könnten."

Warum das wichtig ist - damit KI gut läuft, brauchen wir KI, die KI überwacht:

KI-Systeme sind auf dem Weg, besser und schneller zu denken als Menschen. Damit einhergehend werden KI-Systeme viele, viele, viele folgenreiche Aktionen ausführen, oft in einer solchen Geschwindigkeit, dass kein Mensch oder Team von Menschen hoffen könnte, jede Aktion zu analysieren. Der einzige Weg durch diese Situation ist eine Kombination aus der Schaffung geeigneter harter Gesetze, die für KI gelten und festlegen, welche Aktionen inakzeptabel sind, und für alles andere die Schaffung von schnell wirkenden und anpassungsfähigen automatisierten Systemen, um die unzähligen Grauzonen des KI-Universums zu regulieren und zu überwachen.

Lies mehr

:

Automated Compliance and the Regulation of AI (Institute for Law & AI)

.

***

Massiv leistungsfähige KI könnte menschliche Arbeit wertvoller machen - solange die KI in einem Teil jedes Jobs schlecht ist:

…O-Ring-Automation und die Tatsache, dass Jobs zwar verschwinden mögen, aber Menschen bleiben…

Das allgemeine Verständnis von KI und Automatisierung ist, dass KI Menschen perfekt ersetzen kann - sobald eine KI eine Aufgabe erledigen kann, verschwindet die menschliche Arbeit, die mit dieser Aufgabe verbunden ist. Das ist im Großen und Ganzen zutreffend. Aber, so ein neues Forschungspapier der University of Toronto, übersieht es das größere Bild, nämlich dass, während

Jobs verschwinden mögen, Menschen nicht verschwinden

. Wenn man einen Teil eines Produktionsprozesses durch KI massiv effizienter und/oder automatisierter macht, dann werden die Menschen ihre Arbeit auf die Teile der Aufgabe verlagern, die nicht automatisiert werden können - was oft den Wert des Menschen erhöht.

Diese sogenannte "O-Ring-Produktionsfunktion" betrachtet Jobs als aus vielen verschiedenen Aufgaben zusammengesetzt, und eine, bei der "eine Änderung der Qualität einer Aufgabe den Grenzwert der Qualität in jeder anderen Aufgabe skaliert". Dies bedeutet, dass "die Automatisierung einer Aufgabe nicht nur die Qualität dieser Aufgabe ersetzt; sie ändert auch die Zeiteinteilung des Arbeiters und damit die Qualität aller verbleibenden manuellen Aufgaben."

Wenn Dinge automatisiert werden, können Menschen mehr verdienen:

In einem Spielzeugmodell einer Firma untersuchen die Forscher diese O-Ring-Dynamik, bei der, wenn verschiedene Teile eines Jobs automatisiert werden, Arbeit und der damit verbundene Wert an andere Stellen wandern. Beachten Sie, dies gilt nur unter 'Teilautomatisierung', bei der mindestens eine Aufgabe, die mit einem Gesamtjob verbunden ist, eine ist, bei der Menschen einen komparativen Vorteil haben. Unter diesem Modell "muss das Arbeitseinkommen bei Teilautomatisierung nicht fallen. Wenn nicht alle Aufgaben automatisiert sind, können Erhöhungen der Automatisierungsqualität das Arbeitseinkommen erhöhen, weil die Automatisierung den Wert der verbleibenden Arbeitsengpässe skaliert", schreiben sie. "Wenn nur noch wenige manuelle Aufgaben übrig sind, erhält jede manuelle Aufgabe einen großen Zeitanteil und kann in hoher Qualität ausgeführt werden. Dies schafft eine steigende 'Barriere' für die Automatisierung der letzten Aufgaben."

Jobs verschwinden, aber Menschen nicht:

Eine andere Art, dies auszudrücken, ist, dass, wenn eine Aufgabe automatisiert wird, das betreffende Unternehmen nicht plötzlich alle Leute feuert, die diesen Job machen. Denken Sie an Geldautomaten und Banken - ja, der 'Job' des Auszahlens von Bargeld wechselte schnell von Menschen zu Maschinen, aber es ist nicht so, dass das Unternehmen alle Kassierer feuert - vielmehr verlagerten die Unternehmen und die Kassierer die Arbeit auf etwas anderes: "Unter einem trennbaren Aufgabenmodell hätte dies [die weit verbreitete Einführung von Geldautomaten für Bargeldhandhabungsaufgaben] eine scharfe Verdrängung produzieren sollen", schreiben sie. "Dennoch brach die Beschäftigung von Kassierern nicht zusammen; vielmehr verlagerte sich der Beruf hin zu 'Relationship Banking' und höherwertiger Kundeninteraktion".

Ähnlich, "betrachten Sie einen Einkaufsmanager: Wenn administrative Komponenten (Datenabruf, Terminplanung, Dokumentation) automatisiert werden, kann der Manager zu einem 'Super-Verhandler' werden, der einen viel größeren Anteil seiner Zeit für hochwertige Interaktionen aufwendet", schreiben sie. "In hochqualifizierten Umgebungen ist die gleiche Logik in Bereichen wie der Radiologie sichtbar: Wenn KI Komponenten wie Erkennung oder Triage automatisiert, kann sich die menschliche Anstrengung in Richtung integrativer Diagnose und Kommunikation verlagern."

Warum das wichtig ist - bis wir vollständige Automatisierung haben, könnten wir eine Zentaur-Verbesserung von Firmen erleben:

Nachdem Schach-Engines gut wurden, gab es eine Periode sogenannter 'Zentaur'-Spieler - Menschen, die in Kombination mit einem Maschinenpartner besser Schach spielten als Menschen oder Maschinen allein. Es fühlt sich an, als ob dieses Papier auf etwas Ähnliches hinweist - für eine Weile werden KI-Systeme helfen, viele verschiedene Aufgaben innerhalb von Firmen zu automatisieren, und Menschen werden ihre Arbeit darauf verwenden, die Qualität nicht-automatisierter Aufgaben zu verfeinern und zu verbessern. Dies wird zu einem interessanten evolutionären Druck führen, bei dem, während die Automatisierung eine Menge Arbeit verbrennt, Menschen

die Qualität und Leistung der verbleibenden Arbeit verbessern

, bis die Automatisierung schließlich aufsteigt, um sie zu erreichen.

Auch dies hängt alles davon ab,