The Coming Wave: Künstliche Intelligenz, Macht und das größte Dilemma des 21. Jahrhunderts

Das Buch „The Coming Wave: Künstliche Intelligenz, Macht und das größte Dilemma des 21. Jahrhunderts“ von Mustafa Suleyman und Michael Bhaskar bietet eine tiefgründige Analyse der Herausforderungen und Chancen, die durch die rasante Entwicklung von Technologien wie künstlicher Intelligenz (KI) und synthetischer Biologie entstehen. Die Autoren argumentieren, dass diese Technologien das Potenzial haben, Wohlstand und Überfluss zu schaffen, aber auch erhebliche Risiken bergen, insbesondere durch böswillige Akteure, die Instabilität und Katastrophen verursachen könnten.

Einige Aspekte davon passen sehr gut zu den Überlegungen zur Netzwerkgesellschaft oder „Die dritte Welle“ von Alvin Toffler – vor allem die schwindende Rolle der Nationalstaaten, sollten diese es nicht schaffen, eine bessere Governance auf die Beine zu stellen. Und das nicht auf nationaler Ebene, sondern im Verbund. Fraglich ist auch, ob die geforderte Eindämmung der Technologie angesichts der jüngsten amerikanischen Entwicklungen in naher Zukunft noch realistisch ist oder ob hier gerade eine Entfesselung losgetreten wird, die zu einem sehr destruktiven Ausgang führen kann.

Alles in allem sind das keine rosigen Aussichten. Ein Kopf-in-den-Sand-Verhalten wird uns hier aber auch nicht weiterbringen. Daher gilt es einmal mehr – wie auch von den Autoren gefordert – die persönliche und staatliche Resilienz zu stärken, um mit den Unsicherheiten, die auf uns zukommen, besser umgehen zu können. Und das betrifft leider auch die Möglichkeit schwerwiegender Lieferkettenunterbrechungen und Versorgungsausfälle. Obwohl bisher noch nichts Schlimmeres passiert ist, gibt es leider keine Garantie dafür, dass das auch morgen noch so sein wird. Gerade die von den Autoren angesprochenen exponentiellen Entwicklungen, auf die wir nicht vorbereitet sind, schmälern die Aussicht, dass es auch in Zukunft einfach gut gehen wird. Dafür gibt es einfach zu viele Unsicherheitsfaktoren und zunehmend mehr wechselseitige Abhängigkeiten.

Kernaussagen des Buches

Technologische Revolution und ihre Risiken:
- KI und synthetische Biologie werden als zentrale Technologien der kommenden Welle beschrieben, die ein neues Zeitalter einläuten.
- Diese Technologien könnten jedoch auch in die Hände von böswilligen Akteuren gelangen, die damit erhebliche Schäden anrichten könnten.
- Die Autoren betonen, dass eine Eindämmung dieser Technologien schwierig, wenn nicht unmöglich ist.
Asymmetrie und Hyper-Evolution:
- Die neue Technologiewelle zeichnet sich durch asymmetrische Wirkung, schnelle Evolution, universelle Einsetzbarkeit und zunehmende Autonomie aus.
- Diese Merkmale machen die Technologien besonders gefährlich und schwer kontrollierbar.
Staatliche und persönliche Resilienz:
- Angesichts der Unsicherheiten und Risiken, die diese Technologien mit sich bringen, fordern die Autoren eine Stärkung der persönlichen und staatlichen Resilienz.
- Sie betonen die Notwendigkeit, sich auf mögliche Lieferkettenunterbrechungen und Versorgungsausfälle vorzubereiten.
Regulierung und Kontrolle:
- Die Autoren diskutieren die Schwierigkeiten, diese Technologien zu regulieren und zu kontrollieren.
- Sie schlagen verschiedene Maßnahmen vor, darunter technische Sicherheit, Audits, Engpässe, die Einbindung von Kritikern in die Technologieentwicklung und die Stärkung der Rolle von Regierungen und internationalen Allianzen.
Kultureller Wandel und öffentliche Bewegungen:
- Ein kultureller Wandel ist notwendig, um eine offene Diskussion über Fehler und Misserfolge zu fördern und daraus zu lernen.
- Öffentliche Bewegungen und Druck von unten sind entscheidend, um sicherzustellen, dass die Technologien verantwortungsvoll entwickelt und eingesetzt werden.

Zusammenfassung

„The Coming Wave“ bietet eine umfassende und ernüchternde Analyse der Herausforderungen, die durch die rasante Entwicklung von KI und synthetischer Biologie entstehen. Die Autoren betonen die Notwendigkeit, sich auf die Risiken vorzubereiten und gleichzeitig die Chancen dieser Technologien zu nutzen. Sie fordern eine Stärkung der Resilienz, eine bessere Regulierung und Kontrolle sowie einen kulturellen Wandel, um sicherzustellen, dass die Technologien zum Wohl der Menschheit eingesetzt werden. Das Buch ist ein Weckruf, sich mit den drängenden Fragen der technologischen Entwicklung auseinanderzusetzen und Lösungen zu finden, die eine sichere und prosperierende Zukunft ermöglichen.

Zitate

KAPITEL 1 : EINE EINDÄMMUNG IST NICHT MÖGLICH

Die kommende Welle wird von zwei zentralen Technologien bestimmt: künstlicher Intelligenz (KI) und synthetischer Biologie. Zusammen werden sie ein neues Zeitalter für die Menschheit einläuten und Wohlstand und Überfluss schaffen, wie es sie noch nie gegeben hat. Doch ihre rasante Verbreitung droht auch eine Vielzahl bösartiger Akteure in die Lage zu versetzen, Disruption, Instabilität und sogar Katastrophen unvorstellbaren Ausmaßes auszulösen. Diese Welle stellt eine immense Herausforderung dar, die das 21. Jahrhundert bestimmen wird: Unsere Zukunft hängt von diesen Technologien ab, ist gleichzeitig aber durch sie gefährdet. Aus heutiger Sicht scheint es unmöglich zu sein, diese Welle einzudämmen, d.h., sie zu kontrollieren, einzuhegen oder gar zu stoppen.

Ich glaube, dass diese kommende Technologiewelle die Menschheitsgeschichte an einen Wendepunkt bringt. Wenn es nicht möglich ist, sie einzudämmen, sind die Folgen für unsere Spezies dramatisch, möglicherweise sogar schrecklich. Zugleich sind wir ohne ihre Früchte ungeschützt und unsicher. Dieses Argument habe ich in den letzten zehn Jahren häufig hinter verschlossenen Türen vorgebracht, aber da sich die Auswirkungen immer weniger ignorieren lassen, ist es an der Zeit, es öffentlich kundzutun.

Technologisch stagnierende Gesellschaften sind historisch instabil und neigen zum Zusammenbruch. Irgendwann verlieren sie die Fähigkeit, Probleme zu lösen und Fortschritte zu machen.

Das ist das zentrale Dilemma: dass eine mächtige Technologiegeneration die Menschheit früher oder später entweder in eine katastrophale oder in eine dystopische Richtung führt. Ich glaube, das ist das große Metaproblem des 21. Jahrhunderts.

Angesichts der zunehmenden Verfügbarkeit der Werkzeuge skizzierte der Referent ein wahres Schreckensbild: Schon bald könnte jemand neuartige Krankheitserreger schaffen, die weitaus infektiöser und tödlicher sind als alles, was in der Natur vorkommt. Diese synthetischen Erreger könnten sich bekannten Gegenmaßnahmen entziehen, sich asymptomatisch verbreiten oder eine eingebaute Resistenz gegen Behandlungen aufweisen. Bei Bedarf könnte jemand die selbst gemachten Experimente mit online gekaufter und zu Hause neu zusammengesetzter DNA ergänzen. Die Apokalypse, im Internet bestellt und per Post geliefert. Dies sei keine Science-Fiction, meinte der Referent, ein angesehener Professor mit mehr als zwei Jahrzehnten Erfahrung; es sei ein reales Risiko, und zwar schon heute. Er schloss mit einem alarmierenden Gedanken: Ein einziger Mensch habe heute wahrscheinlich «die Fähigkeit, eine Milliarde Menschen zu töten». Alles, was es dafür brauche, sei Motivation.

Die kollektive Reaktion im Seminar war mehr als nur ablehnend. Die Leute weigerten sich schlicht, die Vision des Referenten zu akzeptieren. Niemand wollte sich mit den Auswirkungen der harten Fakten und nackten Möglichkeiten auseinandersetzen, denen sie gelauscht hatten. Ich sagte nichts und war, ehrlich gesagt, erschüttert.

Pessimismus-Aversion bezeichne: die fehlgeleitete Analyse, die entsteht, wenn man von der Angst vor der Konfrontation mit potenziell düsteren Realitäten überwältigt wird, und die daraus resultierende Neigung, lieber wegzuschauen. So gut wie jeder kennt diese Reaktion in irgendeiner Form, und sie hat zur Folge, dass wir eine Reihe kritischer Trends übersehen, die sich direkt vor unseren Augen entfalten. Es ist fast eine natürliche physiologische Reaktion. Unsere Spezies ist nicht dafür gemacht, sich wirklich mit einem Wandel dieses Ausmaßes auseinanderzusetzen, ganz zu schweigen von der Möglichkeit, dass die Technologie uns auf diese Weise enttäuschen und im Stich lassen könnte.

schon immer geschafft haben. Wer in technischen oder politischen Kreisen verkehrt, merkt schnell, dass die Standardideologie die des «Kopf-in-den-Sand-Steckens» ist.

Im Laufe der Jahrhunderte hat die Technologie das Wohlergehen von Milliarden von Menschen dramatisch verbessert. Dank der modernen Medizin sind wir unermesslich gesünder, die Mehrheit der Welt lebt in einem Überfluss an Nahrungsmitteln, die Menschen waren noch nie so gebildet, so friedlich und materiell so gut gestellt.

Aber jeder Optimismus, den wir aus dieser außergewöhnlichen Geschichte schöpfen, muss in der nackten Realität gründen. Sich gegen das Scheitern zu wappnen heißt, zu verstehen, was schiefgehen kann, und sich schließlich damit auseinanderzusetzen. Wir müssen die Gedankenkette bis zu ihrem logischen Endpunkt verfolgen, ohne Angst davor zu haben, wohin das führen könnte, und, wenn wir dort ankommen, etwas dagegen tun. Die kommende Technologiewelle droht schneller und in größerem Umfang zu versagen als alles, was die Menschheit bisher erlebt hat. Angesichts dieser Situation bedarf es weltweiter, breiter Aufmerksamkeit. Es braucht Antworten– Antworten, die noch niemand hat.

Teil I: HOMO TECHNOLOGICUS

Im Jahr 1915 besaßen lediglich zehn Prozent der Amerikaner ein Auto; 1930 waren es bereits erstaunliche 59 Prozent. Heute gibt es rund zwei Milliarden Verbrennungsmotoren, in Rasenmähern genauso wie in Containerschiffen. Etwa 1,4 Milliarden davon stecken in Autos.

Was also ist eine Welle? Vereinfacht ausgedrückt, ist eine Welle eine Reihe von Technologien, die etwa zur gleichen Zeit zusammenkommen, angetrieben von einer oder mehreren neuen Allzwecktechnologien mit tiefgreifenden gesellschaftlichen Auswirkungen.

Die Ironie der Allzwecktechnologien besteht darin, dass sie nach kurzer Zeit unsichtbar werden und wir sie als selbstverständlich betrachten.

Eine großangelegte Studie beziffert die Zahl der Allzwecktechnologien, die im Laufe der Menschheitsgeschichte entstanden sind, auf gerade einmal 24, wobei die Liste von der Landwirtschaft, dem Fabriksystem und der Entwicklung von Materialien wie Eisen und Bronze bis zu Druckerpressen, Elektrizität und natürlich dem Internet reicht.

In den zehntausend Jahren vor 1000 v. Chr. entstanden sieben Allzwecktechnologien. In den zweihundert Jahren zwischen 1700 und 1900 waren es sechs, von der Dampfmaschine bis zur Elektrizität. Und allein in den letzten hundert Jahren waren es sieben. Wer Ende des 19. Jahrhunderts als Kind mit Pferdefuhrwerken und Holzheizungen aufwuchs, reiste am Lebensende mit dem Flugzeug und wohnte in Häusern, die mit Hilfe der Atomspaltung geheizt wurden.

Für den Futurologen Alvin Toffler war die informationstechnische Revolution eine «dritte Welle» in der menschlichen Gesellschaft nach der landwirtschaftlichen und der industriellen Revolution. Joseph Schumpeter betrachtete die Wellen als Innovationsexplosionen, die in Ausbrüchen «schöpferischer Zerstörung» neue Geschäftszweige entstehen lassen.

Allzwecktechnologien werden zu Wellen, wenn sie sich weit verbreiten. Ohne eine epische und nahezu unkontrollierte globale Verbreitung haben wir es nicht mit einer Welle zu tun, sondern mit einer historischen Kuriosität.

1876 führte Alexander Graham Bell das Telefon ein. Im Jahr 1900 gab es in Amerika bereits 600.000 Telefone. Zehn Jahre später waren es bereits 5,8 Millionen. Heute gibt es in Amerika deutlich mehr Telefone als Menschen. In diesem Bild trifft die steigende Qualität auf sinkende Preise.

Seit den frühen 1970er Jahren hat sich die Zahl der Transistoren pro Chip um das Zehnmillionenfache erhöht. Ihre Leistung hat sich um zehn Größenordnungen gesteigert– eine Verbesserung um das Siebzehnmilliardenfache. 1958 verkaufte Fairchild Semiconductor einhundert Transistoren für je 150 Dollar. Heute werden pro Sekunde Transistoren in zweistelliger Billionenzahl hergestellt, und das für ein milliardstel Dollar pro Transistor: die schnellste und umfangreichste Proliferation in der Geschichte.

Was auf dem Papier einwandfrei aussieht, kann sich in der Praxis anders verhalten, vor allem wenn es kopiert und weiter angepasst wird. Was die Leute tatsächlich mit jemandes Erfindung anstellen, mag sie auch noch so gut gemeint sein, lässt sich nie garantieren.

Technologie zu verstehen bedeutet zum Teil, ihre unbeabsichtigten Folgen zu verstehen, um nicht nur positive Nebeneffekte, sondern auch sogenannte Racheeffekte vorherzusagen. Ganz einfach formuliert: Jede Technologie kann schiefgehen, oft in einer Weise, die ihrem ursprünglichen Zweck direkt zuwiderläuft.

Das Problem der Technologie ist in diesem Fall ein Containment-Problem, ein Problem der Eindämmung. Unter Eindämmung bzw. Containment versteht man die umfassende Fähigkeit, Technologien in jeder Phase ihrer Entwicklung oder ihres Einsatzes zu kontrollieren, einzuschränken und, wenn nötig, zu stoppen.

Im Jahr 2003 gab das britische Verteidigungsministerium bekannt, dass es in der Geschichte seines Atomwaffenprogramms mehr als 110 Beinaheunfälle und Unfälle gegeben hat. Selbst der Kreml, nicht wirklich ein Vorbild an Offenheit, hat zwischen 2000 und 2010 15 schwere Atomunfälle eingeräumt.

Winzige Hardware-Fehlfunktionen können zu übergroßen Risiken führen. So hätte ein einziger fehlerhafter Computerchip, der 46 Cent kostete, im Jahr 1980 beinahe einen großen nuklearen Zwischenfall über dem Pazifik ausgelöst.

Atomwaffen gehören zu den am stärksten eingehegten Technologien der Geschichte, und dennoch bleibt das Containment-Problem– in seinem härtesten, wörtlichsten Sinne– auch hier akut ungelöst.

Teil II: DIE NÄCHSTE WELLE

Bei DeepMind haben wir Systeme zur Steuerung von milliardenschweren Rechenzentren entwickelt, ein Projekt, das zu einer Reduktion der für die Kühlung benötigten Energie um 40 Prozent führte.

Das heißt, in weniger als zehn Jahren ist die für das Training der besten KI-Modelle verwendete Rechenleistung um neun Größenordnungen gestiegen– von zwei petaFLOPs auf zehn Milliarden petaFLOPs. Um ein Gefühl für einen petaFLOP zu bekommen, stellen Sie sich eine Milliarde Menschen vor, die jeweils eine Million Taschenrechner in der Hand halten, eine komplexe Multiplikation durchführen und gleichzeitig auf «=» drücken.

Wenn eine neue Technologie zu funktionieren beginnt, wird sie immer dramatisch effizienter. Bei der KI ist das nicht anders.

Am anderen Ende des Spektrums kann man jetzt mit lediglich dreihundert Zeilen Code ein nanoLLM erstellen, das in der Lage ist, ziemlich plausible Shakespeare-Imitationen zu erzeugen. Kurz gesagt, die KI schafft mit weniger immer mehr.

KI-Forscher sind eifrig darum bemüht, die Kosten zu senken und die Leistung zu steigern, damit diese Modelle in allen möglichen Produktionsumgebungen eingesetzt werden können. In den letzten vier Jahren sind die Kosten und der Zeitaufwand für das Training fortgeschrittener Sprachmodelle drastisch gesunken. In den nächsten zehn Jahren wird es mit ziemlicher Sicherheit zu dramatischen Leistungssteigerungen kommen, während gleichzeitig die Kosten um mehrere Größenordnungen sinken. Der Fortschritt beschleunigt sich so sehr, dass die Benchmarks übertroffen werden, bevor überhaupt neue gesetzt werden. Die Modelle werden also nicht nur effizienter bei der Nutzung von Daten, kleiner, billiger und einfacher zu erstellen, sondern sie werden auch auf Code-Ebene immer breiter verfügbar. Unter diesen Bedingungen ist eine massenhafte Verbreitung fast schon vorprogrammiert.

Diese leichte Zugänglichkeit und die Fähigkeit, sich anzupassen und zu verändern, oft innerhalb weniger Wochen, sind wichtige Merkmale der kommenden Welle.

Ich halte die Debatte darüber, ob und wann die Singularität erreicht wird, für ein kolossales Ablenkungsmanöver. Die Diskussion über die Zeitachse hin zur AGI gleicht einem Blick in die Kristallkugel. Während man sich über dieses eine Konzept der Superintelligenz den Kopf zerbricht, übersieht man die zahlreichen kurzfristigen Meilensteine, die immer häufiger erreicht werden. Ich habe an zahllosen Treffen teilgenommen, um Fragen zu synthetischen Medien und Falschinformationen, zum Datenschutz oder zu tödlichen autonomen Waffen zu stellen, und musste stattdessen esoterische Fragen von ansonsten intelligenten Menschen über Bewusstsein, die Singularität und andere Dinge beantworten, die für unsere Welt im Moment irrelevant sind.

Vereinfacht ausgedrückt, würde das Bestehen eines modernen Turing-Tests in etwa Folgendes bedeuten: Eine KI ist in der Lage, erfolgreich auf eine Anweisung wie diese zu reagieren: «Verdiene innerhalb von ein paar Monaten eine Million Dollar bei Amazon mit einer Investition von lediglich 100.000 Dollar.» Die KI könnte im Internet recherchieren, um herauszufinden, was gerade Trend ist, was auf Amazon Marketplace angesagt ist und was nicht, sie könnte eine Reihe von Bildern und Entwürfen möglicher Produkte generieren, diese an einen Dropshipping-Hersteller senden, den sie auf Alibaba gefunden hat, E-Mails hin- und herschicken, um die Anforderungen zu verfeinern und den Vertrag zu vereinbaren, eine Verkäuferliste entwerfen und Marketingmaterialien sowie Produktdesigns auf der Basis des Käuferfeedbacks kontinuierlich aktualisieren. Abgesehen von den gesetzlichen Anforderungen, die mit der Registrierung als Unternehmen auf dem Marketplace und der Einrichtung eines Bankkontos verbunden sind, erscheint mir all dies durchaus machbar. Ich denke, dass dies mit ein paar kleinen menschlichen Hilfestellungen innerhalb des nächsten Jahres und völlig autonom wahrscheinlich innerhalb von drei bis fünf Jahren möglich sein wird. Sollte mein moderner Turing-Test für das 21. Jahrhundert bestanden werden, hätte dies tiefgreifende Auswirkungen auf die Weltwirtschaft. Viele der Voraussetzungen sind bereits gegeben. Die Bilderzeugung ist weit fortgeschritten, und die Fähigkeit, APIs zu schreiben und damit zu arbeiten, die Banken, Websites und Hersteller benötigen würden, ist in Arbeit. Dass eine KI Nachrichten schreiben oder Marketingkampagnen durchführen kann– alles Aktivitäten, die innerhalb der Grenzen eines Browsers stattfinden–, scheint offensichtlich zu sein. Die ausgefeiltesten Dienste können einige dieser Funktionen bereits übernehmen. Man kann sie sich als Proto-To-do-Listen vorstellen, die sich selbst erledigen, was die Automatisierung einer Vielzahl von Aufgaben ermöglicht. Zu Robotern kommen wir später, aber Tatsache ist, dass man für eine Vielzahl von Aufgaben in der Weltwirtschaft heute lediglich Zugang zu einem Computer braucht; der größte Teil des globalen BIP wird in irgendeiner Weise über bildschirmbasierte Schnittstellen vermittelt, die einer KI zugänglich sind. Die Herausforderung besteht darin, das voranzutreiben, was KI-Entwickler als hierarchische Planung bezeichnen, d.h., mehrere Ziele, Unterziele und Fähigkeiten zu einem nahtlosen Prozess zusammenzufügen, der auf ein einziges Ziel ausgerichtet ist. Sobald dies erreicht ist, entsteht eine hochgradig fähige KI, die sich in ein Unternehmen oder eine Organisation mit all ihren lokalen Gegebenheiten und Bedürfnissen einfügt und die in der Lage ist, Lobbyarbeit zu betreiben, zu verkaufen, zu produzieren, Leute einzustellen, zu planen– alles, was ein Unternehmen tun kann, nur mit einem kleinen Team menschlicher KI-Manager, die die KI beaufsichtigen, überprüfen, implementieren und als Co-CEO mit ihr zusammenarbeiten.

Anstatt uns von Fragen des Bewusstseins ablenken zu lassen, sollten wir die gesamte Debatte auf die kurzfristigen Fähigkeiten und deren Entwicklung in den kommenden Jahren konzentrieren.

Diese ACI-Systeme werden mit dem Internet verbunden und in der Lage sein, mit allem, was wir Menschen tun, zu interagieren, jedoch auf einer Plattform mit umfassendem Wissen und profunden Fähigkeiten. Sie werden nicht nur die Sprache beherrschen, sondern auch eine erstaunliche Vielzahl von Aufgaben. KI ist so profund und leistungsfähig, dass sie mehr ist als nur eine weitere Technologie. Die Gefahr besteht nicht darin, dass man sie überschätzt, sondern darin, dass man das Ausmaß der kommenden Welle nicht erkennt. Wir haben es nicht nur mit einem Werkzeug oder einer Plattform zu tun, sondern mit einer transformativen Meta-Technologie, einer Technologie hinter der Technologie und allem anderen, die selbst Werkzeuge und Plattformen herstellt, nicht nur mit einem System, sondern mit einem Erzeuger von Systemen jeglicher Art. Treten wir einen Schritt zurück und überlegen, was im Zeitraum eines Jahrzehnts oder eines Jahrhunderts passiert. Wir befinden uns wirklich an einem Wendepunkt in der Geschichte der Menschheit.

Dank immer besserer Technik sind die Kosten für die Sequenzierung des menschlichen Genoms von 1 Milliarde Dollar im Jahr 2003 auf deutlich unter 1000 Dollar im Jahr 2022 gefallen. Das heißt, der Preis ist in weniger als zwanzig Jahren um das Millionenfache gesunken, tausendmal schneller als nach dem Mooreschen Gesetz. Eine verblüffende Entwicklung, die sich im Verborgenen abspielt.

Vor einem Jahrzehnt konnten die Wissenschaftler keine hundert DNA-Stücke gleichzeitig herstellen. Jetzt können sie Millionen auf einmal drucken, und das bei einem zehnfachen Preisverfall.

Unternehmen wie DNA Script vertreiben DNA-Drucker, die Enzyme trainieren und anpassen, um de novo– also völlig neue– Moleküle zu erzeugen.

selbstheilenden und sich entwickelnden Prozesse. Das ist die Verheißung der Evolution qua Design, die Dutzende von Millionen Jahren Geschichte komprimiert und durch gezielte Eingriffe kurzgeschlossen hat.

In den 1960er Jahren wurden Computerchips noch größtenteils von Hand hergestellt, genauso wie biotechnologische Forschung– bis vor kurzem– noch ein überwiegend manueller Prozess war, langsam, unvorhersehbar und in jeder Hinsicht ungeordnet. Heute ist die Halbleiterherstellung ein hypereffizienter Fertigungsprozess auf atomarer Ebene, der einige der komplexesten Produkte der Welt hervorbringt. Die Biotechnologie befindet sich auf einem ähnlichen Weg, nur in einer viel früheren Phase: Organismen werden schon bald mit der Präzision und im Umfang der heutigen Computerchips und Software entworfen und hergestellt werden.

Im Jahr 2016 schufen sie einen Organismus mit 473 Genen– weniger als alles, was in der Natur vorkommt, aber ein entscheidender Fortschritt gegenüber dem, was zuvor möglich gewesen war. Nur drei Jahre später schuf ein Team der ETH Zürich das erste Bakteriengenom, das vollständig auf einem Computer erstellt wurde: Caulobacter ethensis-2.0. Während Venters Experimente ein großes Team beschäftigten und Millionen von Dollar kosteten, wurde diese Pionierarbeit weitgehend von zwei Brüdern für weniger als 100.000 Dollar geleistet. Jetzt hat sich das globale GP-write-Konsortium zum Ziel gesetzt, die Kosten für die Herstellung und das Testen synthetischer Genome «innerhalb von zehn Jahren um das den Faktor 1000 zu senken».

Die riesige petrochemische Industrie könnte von jungen Start-ups wie Solugen herausgefordert werden; dieses Unternehmen versucht mit einem Reaktor namens Bioforge, eine kohlenstoffnegative Fabrik zu bauen, die eine breite Palette von Chemikalien und Rohstoffen– von Reinigungsmitteln über Lebensmittelzusatzstoffe bis hin zu Beton– produziert und dabei Kohlenstoff aus der Atmosphäre zieht. Dieses Verfahren ist im Kern eine energie- und abfallarme Bio-Produktion im industriellen Maßstab, die auf KI und Biotechnologie aufbaut. Ein anderes Unternehmen, LanzaTech, nutzt gentechnisch veränderte Bakterien, um das bei der Stahlproduktion anfallende CO2 in häufig verwendete Industriechemikalien umzuwandeln.

Bereits jetzt machen gentechnisch veränderte Organismen zwei Prozent der US-Wirtschaft aus, wo sie vor allem in der Landwirtschaft und der Pharmazie eingesetzt werden. Das ist erst der Anfang.

1993 beschlossen sie, einen alle zwei Jahre stattfindenden Wettbewerb– Critical Assessment for Structure Prediction (CASP)– zu veranstalten, um herauszufinden, wer das Problem der Proteinfaltung lösen könne. Derjenige, der am besten vorhersagen könne, wie sich ein Protein falten würde, sollte gewinnen. CASP wurde bald zum Maßstab auf einem hart umkämpften, aber engmaschigen Feld. Es gab stetige Fortschritte, aber ein Ende war nicht in Sicht. Dann, beim CASP13 im Jahr 2018, das in einem palmengesäumten Resort in Cancún stattfand, stieg ein Außenseiter in den Wettbewerb ein, der keinerlei Erfahrung hatte, und setzte sich gegen 98 etablierte Teams durch. Das Siegerteam war das von DeepMind. Das Projekt mit dem Namen AlphaFold hatte 2016 während eines einwöchigen experimentellen Hackathons in meiner Gruppe begonnen. Es entwickelte sich zu einem Meilenstein in der Computerbiologie und ist ein perfektes Beispiel dafür, wie schnell sich KI und Biotechnologie weiterentwickeln. Während das zweitplatzierte Team, die renommierte Zhang-Gruppe, nur drei von 43 Proteinstrukturen der schwierigsten Ziele vorhersagen konnte, sagte unser Siegerteam 25 voraus. Das Team schaffte das zudem viel schneller als die Konkurrenz, nämlich in nur ein paar Stunden.

Es waren nicht das Fachwissen in Pharmazie oder in den traditionellen Verfahren wie der Kryo-Elektronenmikroskopie oder gar herkömmliche algorithmische Methoden, die das Problem lösten. Der Schlüssel waren die Expertise und die Fähigkeit in Sachen maschinellem Lernen, in Sachen KI. KI und Biologie hatten sich auf entscheidende Weise zusammengetan. Zwei Jahre später war unser Team wieder dabei. Eine Schlagzeile brachte es auf den Punkt: «Eines der größten Probleme der Biologie ist endlich gelöst», schrieb Scientific American. Ein bislang verborgenes Universum von Proteinen wurde mit atemberaubender Geschwindigkeit aufgedeckt. Das System war so gut, dass CASP wie ImageNet in den Ruhestand geschickt wurde. Ein halbes Jahrhundert lang war die Proteinfaltung eine der großen Herausforderungen der Wissenschaft gewesen, und dann wurde sie mit einem Schlag von der Liste der offenen Fragen gestrichen. Im Jahr 2022 wurde AlphaFold2 für die öffentliche Nutzung freigegeben. Das Ergebnis war eine explosionsartige Zunahme der weltweit fortschrittlichsten maschinellen Lernwerkzeuge, die sowohl in der biologischen Grundlagenforschung als auch in der angewandten Forschung eingesetzt werden: ein «Erdbeben», wie es ein Forscher ausdrückte. Innerhalb von achtzehn Monaten nach dem Start haben mehr als eine Million Forscher auf das Tool zugegriffen, darunter praktisch alle führenden Biologielabore der Welt, die sich mit Fragen von Antibiotikaresistenz über die Behandlung seltener Krankheiten bis hin zum Ursprung des Lebens befassen. Frühere Experimente hatten die Struktur von etwa 190.000 Proteinen in die Datenbank des European Bioinformatics Institute eingespeist, was etwa 0,1 Prozent der bekannten Proteine entspricht. DeepMind hat auf einen Schlag rund 200 Millionen Strukturen hochgeladen, die fast alle bekannten Proteine repräsentieren. Brauchten Forscher früher Wochen oder Monate, um die Form und Funktion eines Proteins zu bestimmen, kann dieser Prozess nun innerhalb von Sekunden beginnen. Das ist das, was wir mit exponentiellem Wandel meinen. Das ist das, was die kommende Welle möglich macht.

Rückkopplungsschleife, mit der sie sich gegenseitig verstärken. Während die Pandemie der Biotechnologie einen massiven Aufmerksamkeitsschub verschafft hat, sind die vollen Auswirkungen– Möglichkeiten wie Risiken– der synthetischen Biologie in der öffentlichen Wahrnehmung noch nicht einmal ansatzweise angekommen.

Technologische KI-Wellen umfassen mehr als nur eine oder zwei Allzwecktechnologien. Es handelt sich vielmehr um Cluster von Technologien, die etwa zur gleichen Zeit auftauchen und von einer oder mehreren Allzwecktechnologien getragen werden, aber weit über diese hinausgehen. Allzwecktechnologien sind Beschleuniger. Erfindungen lösen Erfindungen aus. Die Wellen legen den Grundstein für weitere wissenschaftliche und technologische Experimente und stoßen die Türen zu neuen Möglichkeiten auf. Dies wiederum führt zu neuen Werkzeugen und Techniken, neuen Forschungsbereichen– neuen Feldern der Technologie selbst. In ihnen und um sie herum entstehen Unternehmen, die Investitionen anziehen, die neuen Technologien in kleine und große Nischen vorantreiben und sie für tausend verschiedene Zwecke weiter anpassen. Gerade wegen dieser vielschichtigen Komplexität, dieser Tendenz zur explosionsartigen Ausbreitung und zum Überschwappen sind die Wellen so groß und historisch.

Technologien entstehen nicht in abgeschotteten Luftschleusen, schon gar nicht die Allzwecktechnologien. Vielmehr entwickeln sie sich in wellenförmigen Verstärkungsschleifen.

In zwanzig Jahren wird es zahlreiche weitere Technologien geben, die sich alle zur gleichen Zeit durchsetzen werden.

Die Robotik wird erwachsen

Im Jahr 1837 war John Deere ein Schmied in Grand Detour, Illinois.

Eines Tages entdeckte Deere in einem Sägewerk eine kaputte Stahlsäge. Da Stahl knapp war, nahm er seinen Fund mit nach Hause und formte die Klinge zu einem Pflug um. Stark und glatt wie er war, war Stahl das perfekte Material, um den dichten, klebrigen Boden umzupflügen.

Die Zukunft der Landwirtschaft sieht John Deere in autonomen Traktoren und Mähdreschern, die selbstständig arbeiten, den GPS-Koordinaten eines Feldes folgen und mit Hilfe einer Reihe von Sensoren automatisch und in Echtzeit Änderungen bei der Ernte vornehmen, um den Ertrag zu maximieren und die Verschwendung zu minimieren. Das Unternehmen produziert Roboter, die Feldfrüchte pflanzen, pflegen und ernten können, und zwar mit einer Präzision und Detailgenauigkeit, die für Menschen unmöglich wäre. Von der Bodenqualität bis zu den Wetterbedingungen wird so ziemlich alles berücksichtigt bei einer Reihe von Maschinen, die bald große Teile der Arbeit übernehmen werden. In Zeiten stark steigender Lebensmittelpreise und wachsender Bevölkerungszahlen liegt der Nutzen auf der Hand.

Aber so wie der Pflug von John Deere einst die Landwirtschaft veränderte, so verändern diese neuen roboterzentrierten Innovationen die Art und Weise, wie Lebensmittel auf unseren Tisch kommen. Es ist eine Revolution, die zu erkennen wir nicht besonders gut gerüstet sind, aber sie ist bereits in vollem Gange.

Heutzutage kontrollieren menschliche Programmierer oft noch jedes Detail des Betriebs eines Roboters. Das macht die Kosten für die Integration in eine neue Umgebung unerschwinglich. Aber wie wir schon bei so vielen anderen Anwendungen maschinellen Lernens gesehen haben, endet das, was mit enger menschlicher Überwachung beginnt, damit, dass die künstliche Intelligenz lernt, die Aufgabe selbst besser zu erledigen, und sie schließlich auf neue Umgebungen überträgt.

Stellen wir uns vor, ein Schwarm von Baurobotern würde innerhalb von Minuten eine Brücke oder innerhalb von Stunden ein großes Gebäude errichten, rund um die Uhr riesige, hochproduktive Bauernhöfe bewirtschaften oder eine Ölpest beseitigen. Angesichts der bedrohten Bienenvölker hat Walmart ein Patent für Roboterbienen angemeldet, die zusammenarbeiten und Pflanzen selbstständig bestäuben. All die Verheißungen (und Gefahren) der Robotik werden noch verstärkt durch ihre Fähigkeit, sich in Gruppen von unbegrenzter Größe zu koordinieren, eine komplizierte Choreografie, die die Regeln für das, was wo und in welchem Zeitrahmen möglich ist, neu festlegen wird.

In dem Maße, in dem die Kosten sinken (der Preis für einen Roboterarm ist binnen fünf Jahren um 46 Prozent gesunken und sinkt weiter), in dem Maße, in dem sie mit leistungsstarken Batterien ausgestattet werden, in dem Maße, in dem sie simpler werden und leicht zu reparieren sind, werden sie omnipräsent werden.

Quantenüberlegenheit

Von theoretischen Anfängen in den 1980er Jahren hat sich das Quantencomputing innerhalb von vier Jahrzehnten von einem hypothetischen zu einem funktionierenden Prototyp entwickelt. Obwohl die Technologie noch in den Kinderschuhen steckt, hat sie enorme Auswirkungen, wenn die Quantencomputer tatsächlich zum Einsatz kommen. Der Hauptvorteil besteht darin, dass jedes zusätzliche Qubit die gesamte Rechenleistung einer Maschine verdoppelt. Je mehr Qubits man hinzufügt, desto größer wird die Leistung. Tatsächlich könnte eine relativ kleine Anzahl von Teilchen mehr Rechenleistung haben, als wenn das gesamte Universum in einen klassischen Computer umgewandelt würde.

entschlüsseln. Mit dem Quantencomputing ändert sich das. Eine schnelle und unkontrollierte Verbreitung von Quantencomputern könnte katastrophale Auswirkungen auf das Bankwesen oder die Regierungskommunikation haben. Beide geben bereits Milliarden aus, um sich gegen diese Möglichkeit zu wappnen.

Die Entdeckung neuer pharmazeutischer Verbindungen oder industrieller Chemikalien und Werkstoffe, ein kostspieliger, mühsamer Prozess mit kniffliger Laborarbeit, könnte erheblich beschleunigt werden– und auf Anhieb gelingen. Neue Batterien und Medikamente werden so wahrscheinlicher, effizienter und leichter realisierbar. Das Molekül wird «programmierbar», so geschmeidig und manipulierbar wie ein Code.

Wie die künstliche Intelligenz und die Biotechnologie trägt die Quanteninformatik dazu bei, andere Elemente der Welle zu beschleunigen. Und doch ist selbst die Quantenwelt nicht das Ende der Fahnenstange.

Die nächste Energiewende

Wollte man eine grobe Gleichung für unsere Welt aufstellen, würde sie in etwa so lauten: (Leben + Intelligenz) × Energie = moderne Zivilisation Erhöht man einen oder alle dieser Inputs (oder treibt gar ihre Grenzkosten gegen null), so ändert sich das Wesen der Gesellschaft grundlegend.

Im Jahr 2022 gelang dabei zum ersten Mal eine Reaktion mit einem Netto-Energiegewinn– ein entscheidender Meilenstein, da mehr Energie erzeugt wird, als die Laser einsetzen. Angesichts der Tatsache, dass inzwischen bedeutendes privates Kapital in mindestens dreißig Fusions-Start-ups sowie in größere internationale Kooperationen fließt, sprechen die Wissenschaftler davon, «wann und nicht ob» die Fusion kommt. Es mag noch ein Jahrzehnt oder länger dauern, aber eine Zukunft mit dieser sauberen und praktisch unbegrenzten Energiequelle wird immer realistischer.

Fusion und Solarenergie versprechen immense zentralisierte und dezentralisierte Stromnetze, deren Auswirkungen wir in Teil III untersuchen werden. Zurzeit ist Anlass für großen Optimismus. Zusammen mit Wind, Wasserstoff und verbesserten Batterietechnologien ergibt sich ein Mix, der die vielen Anforderungen des Lebens heute und in Zukunft nachhaltig erfüllen und das volle Potenzial der Welle freisetzen kann.

Die Welle nach der Welle

Nanomaschinen würden mit Geschwindigkeiten arbeiten, die weit über alles hinausgehen, was in unserem Maßstab möglich ist, und außergewöhnliche Leistungen erbringen: Ein Nanomotor im atomaren Maßstab könnte sich zum Beispiel achtundvierzig Milliarden Mal pro Minute drehen. In vergrößerter Form könnte er einen Tesla mit Material antreiben, dessen Volumen etwa zwölf Sandkörnern entspricht. Das ist eine Welt der hauchdünnen Strukturen aus Diamant, der Raumanzüge, die sich an den Körper anschmiegen und ihn in allen Umgebungen schützen, eine Welt, in der Compiler aus einem einfachen Ausgangsmaterial alles erschaffen können. Kurz gesagt: eine Welt, in der mit der richtigen atomaren Verarbeitung alles zu allem werden kann. Der Traum vom physischen Universum als vollständig formbarer Plattform, als Spielball winziger, geschickter Nanobots oder mühelos funktionierender Replikatoren ist nach wie vor– wie die Superintelligenz– eine Domäne der Science-Fiction. Es handelt sich um eine Techno-Fantasie, die noch viele Jahrzehnte entfernt ist, die aber im Laufe der kommenden Welle immer mehr in den Blick rücken wird.

Wie wir in Teil I gesehen haben, haben sich Technologien von Röntgengeräten bis zu Kalaschnikows schon immer mit weitreichenden Folgen ausgebreitet.

Die kommende Welle zeichnet sich jedoch durch vier Merkmale aus, die das Problem der Eindämmung noch verschärfen. An erster Stelle steht das Hauptthema dieses Abschnitts: die stark asymmetrische Wirkung. Man muss nicht Gleiches mit Gleichem, Masse mit Masse treffen; stattdessen schaffen die neuen Technologien bisher undenkbare Schwachstellen und Druckpunkte im Kampf gegen scheinbar dominante Mächte. Zweitens entwickeln sie sich schnell, eine Art Hyper-Evolution, die sich in unglaublicher Geschwindigkeit vollzieht, verbessert und in neue Bereiche vorstößt. Drittens sind die neuen Technologien oft universell einsetzbar, d.h., sie lassen sich für viele verschiedene Zwecke verwenden. Und viertens verfügen sie zunehmend über deutlich mehr Autonomie als jede frühere Technologie. Diese Merkmale zeichnen die Welle aus. Sie zu verstehen ist entscheidend, um zu erkennen, welche Vorteile und Risiken sich aus ihrer Entwicklung ergeben; zusammen sorgen sie dafür, dass Eindämmung und Kontrolle so schwierig und gefährlich sind wie nie zuvor.

Asymmetrie: Ein kolossaler Machttransfer

Die neue Welle der Technologie hat wirkmächtige Fähigkeiten freigesetzt, die billig, leicht zugänglich und nutzbar, zielgerichtet und skalierbar sind. Das birgt eindeutig Risiken. Es werden nicht nur ukrainische Soldaten sein, die bewaffnete Drohnen einsetzen. Es wird jeder sein, der das tun will. Die Sicherheitsexpertin Audrey Kurth Cronin formuliert es so: «Noch nie hatten so viele Menschen Zugang zu so fortschrittlichen Technologien, mit denen sie für Tod und Chaos sorgen können.»[

Es gibt keinen offensichtlichen Grund, warum ein einziger Bediener mit den nötigen Mitteln nicht einen Schwarm von Tausenden von Drohnen steuern könnte.

Die Wahrscheinlichkeit asymmetrischer Auswirkungen nimmt überall zu, und zwar auch im positiven Sinne– einzelne Systeme können sehr wohl enorme Vorteile bringen. Doch auch das Gegenteil der asymmetrischen Wirkung ist der Fall. Gerade das Ausmaß und die Vernetzung der kommenden Welle erzeugen neue systemische Schwachstellen: Ein einziger Fehler kann sich schnell auf die ganze Welt auswirken. Je weniger eine Technologie lokalisiert ist, desto weniger leicht lässt sie sich eindämmen– und umgekehrt.

Die Dimensionen des Netzwerks machen es fast unmöglich, den Schaden einzudämmen, falls oder wenn er eintritt. Vernetzte globale Systeme sind ein Albtraum in Sachen Containment. Und wir leben jetzt bereits in einem Zeitalter der vernetzten globalen Systeme. In der kommenden Welle kann ein einziger Punkt– ein bestimmtes Programm, eine genetische Manipulation– alles verändern.

Hyper-Evolution: Endlose Beschleunigung

Wenn man eine Technologie eindämmen will, sollte man hoffen, dass sie sich in einem überschaubaren Tempo entwickelt, damit die Gesellschaft genügend Zeit und Raum hat, sie zu verstehen und sich an sie anzupassen. Auch hier sind Autos wieder ein gutes Beispiel. Sie haben sich im letzten Jahrhundert unglaublich schnell entwickelt, aber es blieb auch Zeit für die Einführung aller möglichen Sicherheitsstandards. Es gab immer eine gewisse Verzögerung, doch die Normen konnten trotzdem Schritt halten. Angesichts des Tempos, in dem sich die nächste Welle von Veränderungen vollzieht, ist das jedoch unwahrscheinlich.

KI hat dabei geholfen, ein Auto mittels 3D-Druckern zu entwerfen und zu bauen. In einigen Fällen sieht das Endergebnis bizarr anders aus als alles, was ein Mensch je entworfen hat, und ähnelt den wellenförmigen und effizienten Formen, die man in der Natur findet. Kabel und Leitungen werden organisch in das Gehäuse integriert, um den Platz optimal zu nutzen. Die Teile sind zu komplex, um sie mit konventionellen Werkzeugen herzustellen, und müssen daher mit dem 3D-Drucker produziert werden.

Bislang wurden achtzehn klinische Wirkstoffe mit Hilfe von KI-Tools entwickelt.

Was wäre, wenn man nicht nach Heilmitteln, sondern nach Killern suchte? Testweise forderten sie ihre molekülgenerierende KI auf, Giftstoffe zu finden. Innerhalb von sechs Stunden identifizierte sie mehr als vierzigtausend Moleküle mit einer Toxizität, die mit den gefährlichsten chemischen Waffen wie Nowitschok vergleichbar ist.

Und je leistungsfähiger und einflussreicher eine Technologie ist, desto größer sollte die Sorge darüber sein, wie viele Verwendungsmöglichkeiten sie haben könnte.

Die Technologien der kommenden Welle sind sehr mächtig, gerade weil sie von Grund auf allgemein sind. Wenn man einen Atomsprengkopf baut, ist klar, wofür er eingesetzt wird. Aber ein Deep-Learning-System könnte für Spiele entwickelt werden und dennoch in der Lage sein, eine Bomberflotte zu fliegen. Der Unterschied ist nicht von vornherein offensichtlich.

Ein passenderer Begriff für die Technologien der kommenden Welle ist «Omni-Use», denn er erfasst das schiere Ausmaß an Allgemeingültigkeit, die bewusste extreme Vielseitigkeit.

Anfangs verwendeten KI-Systeme allgemeine Techniken wie Deep Learning für spezielle Zwecke wie die Steuerung des Energieverbrauchs in einem Rechenzentrum oder das Go-Spiel. Das ändert sich jetzt. Heute können einzelne Systeme wie Gato von DeepMind mehr als sechshundert verschiedene Aufgaben bewältigen.

Mit der Zeit tendiert die Technologie zur Generalität. Das bedeutet, dass eine waffenfähige oder schädliche Nutzung der kommenden Welle möglich sein wird, ganz unabhängig davon, ob dies beabsichtigt war. Allein die Entwicklung ziviler Technologien hat Auswirkungen auf die nationale Sicherheit. Die gesamte Bandbreite der Anwendungsfälle in der größten Allzweckwelle der Geschichte zu antizipieren ist schwieriger als je zuvor.

Autonome Systeme sind in der Lage, mit ihrer Umgebung zu interagieren und Aktionen ohne die unmittelbare Zustimmung des Menschen durchzuführen. Jahrhundertelang blieb die Vorstellung, dass die Technik irgendwie außer Kontrolle gerät, zu einer selbstgesteuerten, sich selbst antreibenden Kraft jenseits der menschlichen Handlungsmöglichkeiten wird, eine Fiktion. Jetzt ist das anders.

Diese Funktionen sind emergente Effekte einer umfassenderen Architektur, deren Ergebnisse von ihren Entwicklern nie im Voraus festgelegt werden.

dessen, was wir wissen können. Ein Paradoxon der kommenden Welle besteht darin, dass ihre Technologien größtenteils jenseits unserer Fähigkeit liegen, sie auf Detailebene zu verstehen, wir aber weiterhin in der Lage sind, sie zu schaffen und zu nutzen.

Ingenieure können nicht unter die Motorhaube schauen und einfach erklären, warum etwas passiert ist. GPT-4, AlphaGo und die anderen sind Blackboxes, deren Ergebnisse und Entscheidungen auf undurchsichtigen und komplizierten Ketten kleinster Signale beruhen. Autonome Systeme können und werden erklärbar sein, aber die Tatsache, dass ein Großteil der kommenden Welle am Rande dessen operiert, was wir verstehen können, sollte uns zu denken geben. Wir werden nicht immer vorhersagen können, was diese autonomen Systeme als Nächstes tun werden; das liegt nun einmal in der Natur der Autonomie.

Wir Menschen dominieren unsere Umwelt aufgrund unserer Intelligenz. Ein intelligenteres Wesen könnte folglich uns beherrschen. Der KI-Forscher Stuart Russell nennt es das «Gorilla-Problem»: Gorillas sind körperlich stärker und zäher als jeder Mensch, aber sie sind es, die vom Aussterben bedroht sind oder in Zoos leben; sie sind «eingedämmt». Wir mit unseren mickrigen Muskeln, aber großen Gehirnen sorgen für die Eindämmung. Indem wir etwas schaffen, das schlauer ist als wir, könnten wir uns selbst in die Lage unserer Vettern, der Primaten, versetzen. Langfristig gesehen, sind diejenigen, die sich auf AGI-Szenarien konzentrieren, zu Recht besorgt. In der Tat spricht vieles dafür, dass eine Superintelligenz qua Definition weder zu kontrollieren noch einzudämmen wäre.

Die unverblümte Wahrheit ist: Niemand weiß, wann, ob oder wie genau KI uns entgleiten könnte und was als Nächstes passiert; niemand weiß, wann oder ob sie völlig autonom wird oder wie wir sie dazu bringen können, sich im Bewusstsein für unsere Werte und im Einklang mit ihnen zu verhalten, vorausgesetzt, wir können uns überhaupt auf solche Werte verständigen.

In ihren dramatischsten Formen könnte die kommende Welle letztlich bedeuten, dass die Menschheit nicht mehr an der Spitze der Nahrungskette steht. Der Homo technologicus könnte am Ende von seiner eigenen Schöpfung bedroht werden. Die eigentliche Frage ist nicht, ob die Welle kommen wird. Sie ist eindeutig da; man muss nur hinsehen, und man erkennt, wie sie sich bereits formt.

Gemessen am Umfang der KI-Forschung, haben chinesische Einrichtungen seit 2010 satte viereinhalbmal so viele KI-Publikationen vorgelegt wie US-amerikanische und deutlich mehr als die Vereinigten Staaten, Großbritannien, Indien und Deutschland zusammen.

Doch es geht nicht nur um KI. Von Cleantech bis zu den Biowissenschaften– China investiert in epischem Ausmaß in das gesamte Spektrum der Grundlagentechnologien, ein expandierendes Ungeheuer in Sachen geistiges Eigentum mit «chinesischen Merkmalen». Im Jahr 2007 überholte China die Vereinigten Staaten bei der Zahl der Doktoranden, aber seither haben die Investitionen und die Ausweitung von Programmen signifikant zugenommen, und es werden jedes Jahr fast doppelt so viele MINT-Doktoranden wie in den Vereinigten Staaten ausgebildet.

In den ersten Jahren des 21. Jahrhunderts betrugen Chinas Ausgaben für Forschung und Entwicklung nur zwölf Prozent der amerikanischen. Im Jahr 2020 waren es bereits 90 Prozent.

China verfügt über mehr der fünfhundert besten Supercomputer der Welt als jedes andere Land. Die BGI-Gruppe, ein in Shenzhen ansässiger Gentechnikriese, verfügt über außergewöhnliche DNA-Sequenzierungskapazitäten, private wie staatliche Unterstützung, Tausende von Wissenschaftlern und riesige Reserven an DNA-Daten und Rechenkapazitäten gleichermaßen. Xi Jinping hat ausdrücklich zu einer «Roboterrevolution» aufgerufen: China installiert so viele Roboter wie der Rest der Welt zusammen.

2014 meldete China im Bereich der Quantentechnologie genauso viele Patente an wie die Vereinigten Staaten; 2018 waren es doppelt so viele.

Die jahrzehntelange Behauptung des Westens, Chinas Fähigkeiten seien «nicht kreativ», war völlig falsch. Wir glaubten, sie seien nur gut im Imitieren, zu eingeschränkt und unfrei, die staatlichen Unternehmen seien schrecklich. Im Nachhinein betrachtet, waren die meisten dieser Einschätzungen schlichtweg falsch, und dort, wo sie zutrafen, hielten sie China nicht davon ab, zu einem modernen Titanen in Wissenschaft und Technik aufzusteigen

Die Frage ist nicht, ob wir uns in einem Technologie- und KI-Wettrüsten befinden, sondern wohin es führen wird.

Bis 2030 wird die indische Wirtschaft, die von Ländern wie Großbritannien, Deutschland und Japan überholt haben und die drittgrößte der Welt sein;

Der breite Zugang zu Informationen wurde zu einem Motor unserer Zivilisation.

Ein globales System der Wissens- und Technologieentwicklung ist heute so umfassend und offen, dass es fast unmöglich ist, es zu steuern, zu regulieren oder, wenn nötig, abzuschalten. Die Fähigkeit, Technologien zu verstehen, zu entwickeln, auf ihnen aufzubauen und sie anzupassen, ist infolgedessen hochgradig verteilt. Die obskure Arbeit eines Informatikstudenten kann im nächsten Jahr in den Händen von Hunderten von Millionen Nutzern sein. Das macht es schwer, die Entwicklung vorherzusagen oder zu kontrollieren.

Allein das F& E-Budget von Amazon beläuft sich auf 43 Milliarden Dollar– wäre es ein Land, wäre es damit das neuntgrößte der Welt. Alphabet, Apple, Huawei, Meta und Microsoft geben alle weit mehr als 20 Milliarden Dollar pro Jahr für Forschung und Entwicklung aus.

Die meisten Technologien entstehen schlicht gesagt, um Geld damit zu verdienen. Wenn überhaupt, dann ist das vielleicht der hartnäckigste, am stärksten verwurzelte und am weitesten verbreitete Anreiz von allen.

Hunderte Milliarden Dollar an Risikokapital und privatem Beteiligungskapital werden in unzählige Start-ups investiert. Allein die Investitionen in KI-Technologien belaufen sich auf 100 Milliarden Dollar pro Jahr.

Historisch betrachtet, bestand die größte Herausforderung des menschlichen Lebens die meiste Zeit darin, sich selbst und die eigene Familie zu ernähren. Die Landwirtschaft war schon immer ein hartes, unsicheres Geschäft. Aber vor allem vor den Verbesserungen des 20. Jahrhunderts war das Ganze noch viel, viel schwieriger. Jede Veränderung der Wetterverhältnisse– zu kalt, zu heiß, zu trocken oder zu nass– konnte katastrophale Folgen haben. Fast alles wurde von Hand gemacht, wenn man Glück hatte, mit Hilfe von ein paar Ochsen. Zu manchen Zeiten des Jahres gab es wenig zu tun, zu anderen musste man wochenlang ununterbrochen zermürbende körperliche Arbeit verrichten. Die Ernte konnte durch Krankheiten oder Schädlinge verdorben werden, nach der Ernte vergammeln oder von Invasionsarmeen gestohlen werden. Die meisten Bauern lebten von der Hand in den Mund, arbeiteten oft als Leibeigene und gaben einen Großteil ihrer kargen Ernte ab. Selbst in den fruchtbarsten Teilen der Welt waren die Erträge gering und unbeständig. Das Leben war hart, stets am Rande der Katastrophe.

Im 13. Jahrhundert erbrachte jeder Hektar Weizen in England bei günstigen Wetterbedingungen und unter Einsatz modernster Techniken etwa eine halbe Tonne Getreide. So blieb es über Jahrhunderte.

Im 21. Jahrhundert liegen die Erträge bei nunmehr etwa acht Tonnen pro Hektar. Das gleiche kleine, unscheinbare Stück Land, die gleiche Geographie, der gleiche Boden, der auch im 13. Jahrhundert bestellt wurde, kann heute das Sechzehnfache an Ernte erbringen. In den Vereinigten Staaten haben sich die Maiserträge pro Hektar in den letzten fünfzig Jahren verdreifacht. Der Arbeitsaufwand für die Produktion eines Kilos Getreide ist seit Beginn des 19. Jahrhunderts um 98 Prozent gesunken.

1945 waren etwa 50 Prozent der Weltbevölkerung schwer unterernährt. Heute sind es nur noch zehn Prozent, obwohl die Bevölkerung mehr als dreimal so groß ist.

Es ist wahrscheinlich, dass die Welt auf eine Klimaerwärmung von zwei Grad Celsius oder mehr zusteuert.

einer Wende hin zu sauberer Energie ist der Weg noch weit. Die Energiedichte von Kohlenwasserstoffen lässt sich für Aufgaben wie den Antrieb von Flugzeugen oder Containerschiffen nur sehr schwer reproduzieren.

Seit Beginn des 21. Jahrhunderts ist der weltweite Energieverbrauch um 45 Prozent gestiegen, doch der Anteil der fossilen Brennstoffe ist lediglich von 87 auf 84 Prozent gesunken– was bedeutet, dass der Verbrauch fossiler Brennstoffe trotz aller Bemühungen um sauberen Strom als Energiequelle stark gestiegen ist.

Der Energieexperte Vaclav Smil bezeichnet Ammoniak, Zement, Kunststoffe und Stahl als die vier Säulen der modernen Zivilisation: die materielle Basis, die die moderne Gesellschaft ausmacht und deren Herstellung jeweils sehr kohlenstoffintensiv ist, ohne dass es offensichtliche Nachfolger gibt. Ohne diese Materialien hat das moderne Leben ein Ende, und ohne fossile Brennstoffe ist es mit diesen Materialien vorbei.

Für die Herstellung eines einzigen E-Autos müssen etwa 225 Tonnen endlicher Rohstoffe gewonnen werden, deren Bedarf bereits jetzt unhaltbar in die Höhe schnellt.

Die Lebensmittelproduktion ist, wie wir gesehen haben, eine große technologische Erfolgsgeschichte. Aber von den Traktoren auf den Feldern über synthetische Dünger bis hin zu Gewächshäusern aus Plastik steckt sie voller fossiler Brennstoffe. Stellen wir uns eine durchschnittliche Tomate vor, die in fünf Esslöffel Öl getränkt ist. So viel wurde für ihren Anbau benötigt.

Um die weltweite Nachfrage zu befriedigen, muss die Landwirtschaft bis 2050 fast 50 Prozent mehr Nahrungsmittel produzieren, während zugleich die Erträge angesichts des Klimawandels sinken.

Um dieser globalen Herausforderung zu begegnen, müssen wir unsere Landwirtschafts-, Produktions-, Verkehrs- und Energiesysteme von Grund auf mittels neuer Technologien umgestalten, die CO2-neutral oder wahrscheinlich sogar kohlenstoffnegativ sind. In der Praxis bedeutet dies, dass die gesamte Infrastruktur der modernen Gesellschaft umgebaut werden muss, wobei hoffentlich auch die Lebensqualität von Milliarden Menschen verbessert wird.

Künstliche Intelligenz hat zur Entwicklung eines Enzyms beigetragen, das den Plastikmüll in unseren Meeren abbauen kann.

Eine Denkschule des naiven Tech-Solutionismus sieht in der Technologie die Antwort auf alle Probleme der Welt. Für sich gesehen, ist sie das sicher nicht. Entscheidend ist vielmehr die Art und Weise, wie sie entwickelt, genutzt, besessen und verwaltet wird. Niemand sollte so tun, als sei Technologie eine beinahe magische Antwort auf etwas so Vielfältiges und Gewaltiges wie den Klimawandel. Aber die Vorstellung, dass wir die entscheidenden Herausforderungen dieses Jahrhunderts ohne neue Technologien bewältigen können, ist völlig abwegig. Es sei daran erinnert, dass die Technologien der neuen Welle das Leben der Menschen einfacher, gesünder, produktiver und angenehmer machen werden. Sie werden Zeit, Kosten und Ärger sparen und Millionen von Menschenleben retten. Diese Tatsache sollte nicht bagatellisiert oder vor lauter Ungewissheit vergessen werden.

J. Robert Oppenheimer,

«Wenn man etwas sieht, das technisch ‹sweet› ist, macht man es, und erst nach dem technischen Erfolg diskutiert man darüber, was man damit anfangen soll.»[

Heute schaut die Welt zu, wie alle anderen in Echtzeit reagieren. Alles sickert durch. Alles wird kopiert, wiederholt und verbessert. Und weil jeder jeden beobachtet und von jedem lernt, wird bei so vielen Menschen, die alle in denselben Bereichen herumstochern, unweigerlich jemand den nächsten großen Durchbruch finden. Und man wird keine Chance haben, ihn zu verhindern, denn selbst wenn man es schafft, wird danach jemand anderes kommen und dieselbe Erkenntnis gewinnen oder einen anderen Weg finden, dieselbe Sache zu tun; er wird das strategische Potenzial oder den Gewinn oder das Prestige sehen und danach streben. Aus diesem Grund werden wir nicht Nein sagen. Das ist der Grund, warum die kommende Welle kommt und warum es eine solche Herausforderung ist, sie einzudämmen.

Niemand hat die volle Kontrolle darüber, was sie tut oder wohin sie sich entwickelt.

diese sich gegenseitig verstärkenden Dynamiken kurzzuschließen. Es ist schwer vorstellbar, wie das innerhalb eines Zeitrahmens geschehen könnte, der die kommende Welle beeinflussen würde.

Teil III: VERSAGENDE STAATEN

Das Versprechen des Staates

Die Vorstellung, Technologie allein könne gesellschaftliche und politische Probleme lösen, ist eine gefährliche Illusion. Aber auch die Vorstellung, diese Probleme könnten ohne Technologie gelöst werden, ist ein Irrtum.

Die globalen Lebensbedingungen sind heute objektiv gesehen besser als je zuvor.

Die kommende Welle wird auf ein leicht entflammbares, inkompetentes, überreiztes Umfeld treffen. Das lässt die Herausforderung der Eindämmung– die Technologien so zu kontrollieren und zu lenken, dass sie für die Menschheit von Nutzen sind– noch einschüchternder erscheinen.

Demokratien gründen auf Vertrauen. Die Menschen müssen darauf vertrauen, dass Regierungsbeamte, Militärs und andere Eliten ihre beherrschende Stellung nicht missbrauchen.

Das Vertrauen in die Regierung ist, insbesondere in Amerika, zusammengebrochen. Laut einer Pew-Umfrage vertrauten mehr als 70 Prozent der Amerikaner den Regierungen der Nachkriegszeit unter Eisenhower oder Johnson, dass sie «das Richtige» täten. Bei den jüngsten Präsidenten wie Obama, Trump und Biden ist dieses Vertrauen stark gesunken und liegt bei unter 20 Prozent.

Sage und schreibe 85 Prozent der Amerikaner sind der Ansicht, dass sich das Land «in die falsche Richtung bewegt». Das Misstrauen erstreckt sich auch auf nichtstaatliche Institutionen, wobei das Misstrauen gegenüber den Medien, dem wissenschaftlichen Establishment und der Idee des Expertentums im Allgemeinen zunimmt.

Das Problem ist nicht auf die Vereinigten Staaten beschränkt. Eine weitere Pew-Umfrage ergab, dass in siebenundzwanzig Ländern eine Mehrheit mit ihren Demokratien unzufrieden ist.

Dass so viele Menschen den Eindruck haben, dass die Gesellschaft versagt, ist an sich schon ein Problem: Misstrauen führt zu Negativität und Apathie. Die Menschen gehen nicht zur Wahl.

Ein wichtiger Katalysator für Instabilität und gesellschaftlichen Unmut ist die Ungleichheit, die in den letzten Jahrzehnten in allen westlichen Ländern stark zugenommen hat, nirgendwo so sehr wie in den Vereinigten Staaten.

Die Politik der Regierung, die schrumpfende Bevölkerung im erwerbsfähigen Alter, der Rückgang des Bildungsniveaus und die Verlangsamung des langfristigen Wachstums haben allesamt dazu beigetragen, dass die Ungleichheit in der Gesellschaft deutlich zugenommen hat. Vierzig Millionen Menschen in den Vereinigten Staaten leben in Armut, mehr als fünf Millionen leben unter «Drittwelt-Bedingungen»– und das in der reichsten Volkswirtschaft der Welt.

WannaCry und NotPetya sind begrenzt im Vergleich zu den zunehmend universell einsetzbaren lernenden Agenten, die die nächste Generation von Cyberwaffen ausmachen werden und die den nationalen Notstand 2.0 herbeizuführen drohen.

Die Kosten für militärisch genutzte Drohnen sind in den letzten zehn Jahren um das Tausendfache gesunken. Bis 2028 werden jährlich 26 Milliarden Dollar für militärische Drohnen ausgegeben werden, und bis dahin werden viele von ihnen wahrscheinlich vollständig autonom sein. Live-Einsätze von autonomen Drohnen werden von Tag zu Tag wahrscheinlicher.

Ergänzende Technologien wie 3D-Druck und fortschrittliche Mobilkommunikation werden die Kosten für taktische Drohnen auf ein paar tausend Dollar senken, so dass sie für jeden– vom Amateur über Paramilitärs bis hin zu einsamen Psychopathen– verfügbar sind.

Bestehende Computerwürmer replizieren sich selbst, indem sie einen festen Satz vorprogrammierter Entscheidungsregeln verwenden. Was aber, wenn es einen Wurm gäbe, der sich durch verstärkendes Lernen selbst verbessert, der seinen Code bei jeder Netzwerkinteraktion experimentell aktualisiert und jedes Mal weitere und effizientere Wege findet, um Cyberschwachstellen auszunutzen? So wie Systeme wie AlphaGo aus Millionen von selbst gespielten Spielen unerwartete Strategien lernen, so wird das auch bei KI-gestützten Cyberangriffen der Fall sein. Egal wie sehr man alle Eventualitäten durchspielt, es wird unweigerlich eine winzige Schwachstelle geben, die von einer hartnäckigen KI ausfindig gemacht werden kann.

Stellen wir uns einen riesigen Cache mit Dokumenten eines Unternehmens vor, die geleakt wurden. Eine juristische KI könnte diese mit mehreren Rechtssystemen abgleichen, jeden möglichen Verstoß herausfinden und das Unternehmen dann weltweit gleichzeitig mit mehreren lähmenden Klagen überziehen.

KI, die nicht nur Finanz-, Rechts- oder Kommunikationssysteme, sondern auch die menschliche Psychologie, unsere Schwächen und Vorurteile ausnutzen kann, ist auf dem Weg.

Nun werden mächtige, asymmetrische Allzwecktechnologien mit Sicherheit in die Hände derjenigen gelangen, die dem Staat schaden wollen. Zwar werden mit der Zeit defensive Operationen gestärkt, doch die vier Merkmale begünstigen die Offensive: Diese Proliferation von Macht ist einfach zu umfassend, zu schnell und zu offen. Ein Algorithmus von weltverändernder Bedeutung lässt sich auf einem Laptop speichern; bald wird er nicht einmal mehr die riesige, regulierbare Infrastruktur der letzten Welle und des Internets benötigen. Anders als ein Pfeil oder auch eine Hyperschallrakete werden sich KI und Bioagenten billiger, schneller und autonomer entwickeln als jede andere Technologie zuvor. Folglich werden ohne drastische Eingriffe, die den derzeitigen Gang der Dinge ändern, in wenigen Jahren Millionen von Menschen Zugang zu diesen Fähigkeiten haben.

KI-gestützte digitale Werkzeuge werden Informationsoperationen wie diese noch verstärken, sie werden sich in Wahlen einmischen, soziale Spaltungen ausnutzen und ausgeklügelte Astroturfing-Kampagnen (eine Art künstlicher Graswurzelbewegung) entwickeln, um Chaos zu stiften. Leider ist dabei nicht nur Russland am Werk.

Eine Studie der Carnegie Mellon University analysierte mehr als 200 Millionen Tweets, in denen auf dem Höhepunkt der ersten Lockdowns über COVID-19 diskutiert wurde. Zweiundachtzig Prozent der einflussreichen Nutzer, die sich für ein «reopening» Amerikas, also für ein Ende der Corona-Maßnahmen, aussprachen, waren Bots.

Nicht alle Stressfaktoren und Schäden gehen jedoch von böswilligen Akteuren aus. Einige resultieren aus den besten Absichten. Die Fragilitätsverstärkung kann sowohl zufällig als auch absichtlich erfolgen.

Auch wenn die Zahl der BSL-4-Labore boomt, schneidet laut dem Global Health Security Index nur ein Viertel von ihnen in puncto Sicherheit gut ab. Zwischen 1975 und 2016 haben Forscher mindestens 71 absichtliche oder versehentliche Expositionen gegenüber hochinfektiösen und toxischen Krankheitserregern dokumentiert. In den meisten Fällen handelte es sich um winzige Unfälle, die selbst dem bestausgebildeten Menschen sicherlich manchmal unterlaufen– eine abgerutschte Nadel, ein verschüttetes Reagenzglas, ein mit einem kleinen Fehler vorbereitetes Experiment. Dieses Bild ist mit Sicherheit unvollständig. Nur wenige Forscher melden Unfälle öffentlich oder zeitnah. Eine Umfrage unter Beauftragten für biologische Sicherheit ergab, dass die meisten Unfälle nie über ihre Einrichtung hinaus gemeldet wurden. Eine US-Risikobewertung aus dem Jahr 2014 schätzte die Wahrscheinlichkeit eines «großen Laborlecks» in zehn Laboren über einen Zeitraum von zehn Jahren auf 91 Prozent; das Risiko einer daraus resultierenden Pandemie lag bei 27 Prozent.

Die Gain-of-Function-Forschung ist durchaus umstritten. Eine Zeit lang verhängten die US-Finanzbehörden ein Moratorium für die Finanzierung dieser Art von Forschung. 2019 wurden diese Arbeiten allerdings wieder aufgenommen– ein klassischer Fehlschlag in Sachen Eindämmung. Es gibt zumindest einige Hinweise darauf, dass COVID-19 genetisch verändert wurde, und immer mehr (Indizien-) Beweise– von der Erfolgsbilanz des Wuhan-Instituts bis hin zur Molekularbiologie des Virus selbst– deuten darauf hin, dass die Pandemie durch ein Leck im Labor ausgelöst worden sein könnte.

Es ist äußerst plausibel, dass die biologische Forschung bereits Millionen von Menschen getötet, die Gesellschaft weltweit zum Stillstand gebracht und Billionen von Dollar gekostet hat.

Wenn jedes halbkompetente Labor oder sogar jeder zufällige Biohacker mit dieser Forschung beginnen kann, lässt sich die Tragödie nicht auf unbestimmte Zeit hinausschieben. Mit der zunehmenden Macht und Verbreitung einer Technologie nehmen auch die Fehlermöglichkeiten zu.

Um es noch einmal zu betonen: Bei diesen Risiken geht es nicht um böswilligen Schaden; sie ergeben sich einfach daraus, dass wir mit den leistungsfähigsten Technologien operieren, die es in der Geschichte je gab und die in zentralen gesellschaftlichen Systemen weit verbreitet sind.

Stressfaktoren können aber auch weniger eigenständige Ereignisse sein, nicht ein Roboterangriff, ein Laborleck oder ein Deepfake-Video, sondern eher ein langsamer und diffuser Prozess, der die Grundlagen untergräbt. Bedenken wir, dass im Laufe der Geschichte immer wieder Werkzeuge und Technologien entwickelt wurden, die uns halfen, mit weniger mehr zu erreichen. Der individuelle Fall zählt dabei fast nichts. Aber was passiert, wenn der ultimative Nebeneffekt dieser zunehmenden Effizienz darin besteht, dass der Mensch für viele Arbeiten gar nicht mehr gebraucht wird?

In Ländern wie Indien und den Philippinen hat das Outsourcing von Geschäftsprozessen für einen enormen Aufschwung gesorgt, wodurch vergleichsweise gut bezahlte Arbeitsplätze in Callcentern entstanden sind. Genau diese Art von Arbeit wird von der Automatisierung betroffen sein. Langfristig werden vielleicht neue Arbeitsplätze geschaffen, aber für Millionen von Menschen werden sie nicht schnell genug oder an den richtigen Orten entstehen.

Gleichzeitig wird ein Schwinden der Arbeitsplätze die Steuereinnahmen einbrechen lassen, die öffentlichen Dienstleistungen beeinträchtigen und Sozialprogramme gerade dann in Frage stellen, wenn sie am dringendsten benötigt werden. Noch bevor es zu einer Dezimierung der Jobs kommt, werden die Regierungen an ihre Grenzen stoßen und Schwierigkeiten haben, all ihren Verpflichtungen nachzukommen, sich nachhaltig zu finanzieren und die Dienstleistungen zu erbringen, die die Öffentlichkeit von ihnen erwartet.

Auf welcher Seite der Beschäftigungsdebatte man auch steht, es lässt sich kaum leugnen, dass die Folgen für Hunderte von Millionen Menschen, die sich zumindest neu qualifizieren und auf neue Arbeitsformen umstellen müssen, eine enorme Destabilisierung bedeuten werden. Selbst optimistische Szenarien beinhalten noch beunruhigende politische Auswirkungen, von zerrütteten Staatsfinanzen bis zu unterbeschäftigten, verunsicherten und wütenden Bevölkerungen. Das wird Ärger geben– ein weiterer Stressfaktor in einer ohnehin gestressten Welt.

Die sinkenden Kosten der Macht, des Handelns, betreffen nicht nur böswillige Schurken oder wendige Start-ups, abgeschottete und begrenzte Anwendungen. Vielmehr wird die Macht in der gesamten Gesellschaft umverteilt und verstärkt. Da die kommende Welle keine Grenzen kennt, ist sie auf jeder Ebene, in jedem Sektor, jedem Unternehmen, jeder Subkultur, jeder Gruppe oder Bürokratie, in jedem Winkel unserer Welt zu finden. Sie schafft neue ökonomische Werte in Höhe von Billionen von Dollar, während sie gleichzeitig bestimmte bestehende Wohlstandsquellen vernichtet. Einige Menschen werden enorm begünstigt, andere werden alles verlieren.

Und im Zuge dieser großen Umverteilung der Macht wird der Staat, der ohnehin schon angeschlagen ist und immer fragiler wird, in seinen Grundfesten erschüttert; die große Übereinkunft wird brüchig und prekär.

auch dazu beitragen, sie im Keim zu ersticken. Technologien können soziale Strukturen, Hierarchien und Kontrollmechanismen verstärken, aber auch auf den Kopf stellen.

Um ein Gefühl für diese Konzentrationen zu bekommen, sei darauf hingewiesen, dass die kombinierten Umsätze der 500 weltgrößten Unternehmen schon 44 Prozent des weltweiten BIP ausmachen.

Die Unternehmen kontrollieren bereits die größten Cluster von KI-Prozessoren, die besten Modelle, die fortschrittlichsten Quantencomputer und den überwiegenden Teil der Robotikkapazitäten sowie des geistigen Eigentums. Anders als bei Raketen, Satelliten und dem Internet stehen bei dieser Welle Unternehmen an der Spitze und nicht Regierungsorganisationen oder wissenschaftliche Laboratorien. Beschleunigt sich dieser Prozess mit der nächsten Technologiegeneration, erscheint eine Zukunft extremer Unternehmenskonzentration nicht mehr so außergewöhnlich.

Die fünfzig größten Städte der Welt verfügen über den Löwenanteil des Reichtums und der Unternehmensmacht (45 Prozent der Hauptsitze großer Unternehmen; 21 Prozent des weltweiten BIP), obwohl sie nur acht Prozent der Weltbevölkerung beherbergen. Die obersten zehn Prozent der globalen Unternehmen erzielen 80 Prozent der Gesamtgewinne. Es ist zu erwarten, dass die kommende Welle sich in dieses Bild einfügt und immer reichere und erfolgreichere Superstars hervorbringt– ob nun Regionen, Wirtschaftszweige, Unternehmen oder Forschungsgruppen.

Samsung und Korea sind ein Sonderfall, aber vielleicht nicht mehr lange. In Anbetracht des Spektrums an gebündelten Fähigkeiten könnten Dinge, für die heute in der Regel Regierungen zuständig sind, wie Bildung und Verteidigung, vielleicht sogar Währung oder Strafverfolgung, von dieser neuen Generation von Unternehmen übernommen werden. Schon jetzt bearbeitet das Streitbeilegungssystem von eBay und PayPal etwa sechzig Millionen Streitfälle pro Jahr, dreimal so viele wie das gesamte Rechtssystem der USA. Neunzig Prozent dieser Streitigkeiten werden allein mit Hilfe von Technologie beigelegt. Und es werden noch mehr werden.

Neue, privilegierte Interessen werden Räume besetzen, die von überforderten und überlasteten Regierungen geräumt wurden.

wenn KI, Biotechnologie, Quantenphysik, Robotik und alles andere in den Händen eines repressiven Staates gebündelt werden, dürfte sich das daraus resultierende Gebilde spürbar

Die Hisbollah ist möglicherweise der am besten bewaffnete nichtstaatliche Akteur der Welt und besitzt nach den Worten eines Beobachters «ein größeres Artilleriearsenal als die meisten anderen Nationen».

Es gibt nicht allzu viele Organisationen wie die Hisbollah, die sich inmitten spezieller regionaler Spannungen entwickelt hat. Die kommende Welle könnte jedoch solch kleine, staatsähnliche Gebilde sehr viel plausibler machen. Im Gegensatz zur Zentralisierung könnte sie tatsächlich eine Art «Hisbollahisierung» befördern, eine zersplitterte, tribalistische Welt, in der jeder Zugang zu den neuesten Technologien hat, in der jeder seinen Lebensunterhalt zu seinen eigenen Bedingungen bestreiten kann und in der es für jeden viel einfacher ist, seinen Lebensstandard ohne die großen Superstrukturen der nationalstaatlichen Organisation aufrechtzuerhalten.

So könnte eine Kombination aus künstlicher Intelligenz, billiger Robotik und fortschrittlicher Biotechnologie in Verbindung mit sauberen Energiequellen zum ersten Mal in der Moderne ein «abgekoppeltes» Leben ermöglichen, das fast gleichwertig mit einem «angestöpselten» Leben ist.

Bereiche wie Bildung und Medizin sind derzeit auf riesige soziale und finanzielle Infrastrukturen angewiesen. Es ist durchaus vorstellbar, dass diese verschlankt und lokalisiert werden: anpassungsfähige und intelligente Bildungssysteme zum Beispiel, die einen Schüler durch seine ganze Lernbiografie begleiten und einen maßgeschneiderten Lehrplan erstellen; KI, die in der Lage ist, alle Materialien wie interaktive Spiele zu erstellen, die perfekt auf das Kind zugeschnitten sind, mit automatisierten Bewertungssystemen usw.

In diesem Szenario entsteht eine Welt, die eher der Welt vor dem Nationalstaat ähnelt: neo-mittelalterlich, kleiner, lokaler und konstitutionell vielfältiger, ein komplexes, instabiles Flickwerk von Gemeinwesen– nur jetzt eben mit enorm leistungsfähiger Technologie. Als Norditalien ein Flickenteppich aus kleinen Stadtstaaten war, bescherte es uns die Renaissance, war aber auch Schauplatz ständiger Kriege und Fehden. Die Renaissance ist großartig, ein fortwährender Krieg mit der Militärtechnologie von morgen nicht unbedingt.

Die techno-libertäre Bewegung treibt Ronald Reagans Bonmot aus dem Jahr 1981– «Die Regierung ist das Problem»– auf die Spitze, indem sie allein die vielen Mängel der Regierung sieht, nicht aber ihre immensen Vorteile, und glaubt, dass die staatlichen Regulierungs- und Steuerungsfunktionen destruktiv sind und kaum Nutzen haben– zumindest für sie. Ich finde es zutiefst deprimierend, dass einige der mächtigsten und privilegiertesten Menschen eine so enge und zerstörerische Sichtweise haben, aber das treibt die Fragmentierung noch weiter voran. Sie träumen von einer Welt, in der Milliardäre und Endzeitpropheten Kleinststaaten aufbauen und regieren können; in der nichtstaatliche Akteure von Unternehmen über Kommunen bis hin zu Algorithmen den Staat von oben, aber auch von unten allmählich in den Schatten stellen.

Um die Zukunft zu verstehen, muss man mit mehreren widersprüchlichen Entwicklungen gleichzeitig umgehen. Die kommende Welle setzt gleichzeitig gewaltige zentralisierende und dezentralisierende Strömungen in Gang. Beide werden gleichzeitig wirksam sein.

In allen Fällen werden der zusätzliche Stress und die Volatilität, die unvorhersehbare Verstärkung von Macht, die heftige Disruption radikal neuer Kompetenzzentren das Fundament des liberal-demokratischen nationalstaatlichen Systems zusätzlich unter Druck setzen.

Die kommende Welle wird nur die exakt gleiche widersprüchliche Dynamik der letzten Welle vertiefen und wiederholen. Genau das tut das Internet: Es zentralisiert in einigen wenigen Knotenpunkten, während es gleichzeitig Milliarden von Menschen ermächtigt. Es schafft Giganten und gibt doch jedem die Möglichkeit mitzumachen. Die sozialen Medien haben ein paar Riesen und eine Million Stämme geschaffen. Jeder kann eine Website erstellen, aber es gibt nur ein Google. Jeder kann seine eigenen Nischenprodukte verkaufen, aber es gibt nur ein Amazon. Und so weiter und so fort.

Aber innerhalb des nächsten Jahrzehnts müssen wir mit radikalen Veränderungen rechnen, mit neuen Konzentrationen und Verteilungen von Bildung, Wohlstand und vor allem Macht.

Diese Krise, die durch den unaufhaltsamen Aufstieg der Technologie und das Ende der Nationen ausgelöst wird, wird die Form eines gewaltigen, existenziellen Dilemmas annehmen, einer Reihe brutaler Entscheidungen und Zielkonflikte, die das zentrale Dilemma des 21. Jahrhunderts darstellen.

Katastrophale Ereignisse, die sich früher über Jahre und Jahrzehnte hinzogen, können heute auf Knopfdruck innerhalb von Minuten geschehen. Mit der kommenden Welle werden wir einen weiteren solchen Sprung machen und sowohl die Risikogrenze verschieben als auch die Möglichkeiten erweitern, die denjenigen zur Verfügung stehen, die katastrophale Gewalt entfesseln wollen.

Wir haben gesehen, dass böswillige Akteure ernsthaften Schaden anrichten können, indem sie massenhaft für Instabilität sorgen. Was wird erst passieren, wenn jedes halbwegs fähige Labor oder jeder Hacker komplexe DNA-Stränge synthesisieren kann? Wie lange dauert es, bis die Katastrophe eintritt? Mit der zunehmenden Verbreitung einiger der leistungsfähigsten Technologien der Geschichte werden solche Grenzfälle immer wahrscheinlicher. Irgendwann wird etwas schiefgehen– in einem Ausmaß und mit einer Geschwindigkeit, die den freigesetzten Fähigkeiten entsprechen.

Die einzige Entität, die prinzipiell in der Lage ist, diese existenzielle Zwickmühle zu überwinden, ist das System von Nationalstaaten, das derzeit zerfällt und von den Kräften, die es eindämmen muss, in den Abgrund gezogen wird.

Hochentwickelte KI und synthetische Biologie werden nicht nur Gruppen zur Verfügung stehen, die neue Energiequellen oder lebensverändernde Medikamente suchen, sondern auch dem nächsten «Unabomber» à la Ted Kaczynski.

Es gibt keine Gebrauchsanweisung, wie man die Technologien der kommenden Welle sicher gestalten kann. Wir können keine Systeme mit zunehmender Leistung und Gefährdung bauen, mit denen wir im Voraus experimentieren können. Wir können nicht wissen, wie schnell sich eine künstliche Intelligenz selbst verbessern könnte oder was nach einem Laborunfall mit einer noch nicht erfundenen Biotechnologie passieren würde. Wir können nicht sagen, was aus einem menschlichen Bewusstsein resultiert, das direkt mit einem Computer verbunden wird, oder was eine KI-gestützte Cyberwaffe für die kritische Infrastruktur bedeutet oder wie sich ein Gene Drive in der freien Natur auswirken wird. Sobald sich schnell entwickelnde, selbstorganisierende Automaten oder neue biologische Agenzien in die freie Wildbahn entlassen werden, lässt sich die Uhr nicht mehr zurückdrehen. Ab einem bestimmten Punkt können sogar Neugier und Tüftelei gefährlich werden. Selbst wenn wir glauben, dass die Wahrscheinlichkeit einer Katastrophe gering ist, sollte uns die Tatsache, dass wir im Blindflug arbeiten, zu denken geben.

Wenn die Welle nicht eingedämmt wird, ist es nur eine Frage der Zeit. Es besteht die Möglichkeit von Unfällen, Irrtümern, böswilliger Nutzung, Entwicklungen, die sich der menschlichen Kontrolle entziehen, und unvorhersehbaren Folgen aller Art. Irgendwann, in irgendeiner Form, wird irgendetwas irgendwo versagen. Und das wird kein Bhopal oder auch nur ein Tschernobyl sein; es wird sich weltweit ausbreiten.

Einerseits ist es beruhigend, dass Organisationen wie die Aum-Sekte so selten sind. Von den vielen Terroranschlägen und anderen nicht von Staaten begangenen Massenmorden seit den 1990er Jahren wurden die meisten von verwirrten Einzelgängern oder Gruppen mit spezifischen politischen oder ideologischen Zielen verübt. Andererseits hat diese beruhigende Aussicht auch ihre Grenzen. Die Beschaffung von Großwaffen war früher eine enorme Hürde, die dazu beitrug, die Katastrophe abzuwenden. Der

Wenn die kommende Welle jedoch heranreift, werden die Werkzeuge der Zerstörung, wie wir gesehen haben, demokratisiert und zu einem Allerweltsprodukt werden. Sie werden leistungsfähiger und anpassungsfähiger sein und möglicherweise auf eine Art und Weise funktionieren, die sich menschlicher Kontrolle oder menschlichem Verständnis entzieht, sie werden sich schnell weiterentwickeln, und einige der größten Offensivkräfte der Geschichte werden weithin verfügbar sein. Diejenigen, die wie Ōmu Shinrikyō neue Technologien wie Aum einsetzen würden, sind glücklicherweise selten. Doch selbst eine Aum-Sekte alle fünfzig Jahre ist heute eine zu viel, um einen Vorfall abzuwenden, der um Größenordnungen schlimmer wäre als der U-Bahn-Anschlag.

Sekten, Spinner, selbstmörderische Staaten in den letzten Zügen– sie alle haben ein Motiv und jetzt auch die Mittel. In einem Bericht über die Auswirkungen von Ōmu Shinrikyō heißt es kurz und bündig: «Wir spielen russisches Roulette.» Wir befinden uns in einer neuen Phase der Geschichte. Angesichts des Versagens der Zombie-Regierungen bei der Eindämmung der Technologie wird die nächste Aum-Sekte, der nächste Industrieunfall, der nächste Krieg eines verrückten Diktators, das nächste winzige Leck in einem Labor Auswirkungen haben, die nur schwer vorstellbar sind.

Der Ruf nicht nur nach Kontrolle, sondern nach rigorosem Durchgreifen wird lauter werden. Das Potenzial für ein noch nie dagewesenes Maß an Überwachung wird immer attraktiver werden. Vielleicht wird es möglich sein, aufkommende Bedrohungen zu erkennen und zu stoppen? Wäre das nicht das Beste– und das richtige Vorgehen? Ich gehe fest davon aus, dass dies die Reaktion von Regierungen und Bevölkerungen in aller Welt sein wird. Wenn die einheitliche Macht des Nationalstaates bedroht ist, wenn Eindämmung immer schwieriger erscheint, wenn Menschenleben auf dem Spiel stehen, wird die unvermeidliche Reaktion ein verschärftes Festhalten an der Macht sein. Die Frage ist nur: zu welchem Preis?

Das Tor zur Dystopie ist weit aufgestoßen. Angesichts der Katastrophe mag sich die Dystopie für manche sogar erleichternd anfühlen.

Eine Katastrophe würde den Ruf nach einem extremen Überwachungsapparat laut werden lassen, um solche Ereignisse in Zukunft zu verhindern. Wenn mit der Technologie etwas schiefgeht, wie lange dauert es dann, bis das Durchgreifen beginnt? Was ließe sich im Angesicht einer Katastrophe plausibel dagegen einwenden? Wie lange braucht es, bis die Überwachungsdystopie Wurzeln schlägt, eine schleichende Ranke nach der anderen, und wächst? In dem Maße, wie sich kleinere technologische Fehler häufen, wird der Ruf nach Kontrolle lauter. In dem Maße, in dem die Kontrolle zunimmt, werden checks and balances ausgehebelt, das Fundament verschiebt sich und macht den Weg frei für weitere Eingriffe, und so beginnt eine stetige Abwärtsspirale in Richtung Techno-Dystopie.

Jede Technologiewelle hat die Wahrscheinlichkeit von systemischen Störungen der sozialen Ordnung deutlich erhöht. Aber bis jetzt haben diese Wellen keine weitreichenden und systemischen Risiken einer globalisierten Katastrophe mit sich gebracht. Genau das jedoch hat sich geändert. Und genau das könnte eine dystopische Reaktion auslösen.

So unangenehm es für manche auch sein mag: Die Lösung von Problemen wie dem Klimawandel, die Aufrechterhaltung eines steigenden Lebens- und Gesundheitsstandards oder die Verbesserung von Bildung und Chancen wird ohne die Bereitstellung neuer Technologien als Teil des Pakets nicht möglich sein.

Ein Stopp der technologischen Entwicklung (vorausgesetzt, er wäre möglich) würde zumindest in einer Hinsicht zu Sicherheit führen. Er würde zunächst einmal die Einführung neuer katastrophaler Risiken begrenzen. Aber es würde nicht bedeuten, dass eine Dystopie erfolgreich vermieden wird. Stattdessen würde er, wie die mangelnde Nachhaltigkeit der Gesellschaften des 21. Jahrhunderts vor Augen führt, einfach eine andere Form von Dystopie hervorbringen. Ohne neue Technologien stagniert früher oder später alles und bricht vielleicht sogar ganz zusammen.

Ohne neue Technologien wird es unmöglich sein, den Lebensstandard zu halten.

China spielt für die Technologie der kommenden Jahrzehnte eine wichtige Rolle, aber die Schanghaier Akademie für Sozialwissenschaften prognostiziert, dass das Land am Ende des Jahrhunderts nur noch 600 Millionen Einwohner haben wird– eine erstaunliche Umkehrung des fast ein Jahrhundert währenden Bevölkerungswachstums.

Die Wahrheit ist, dass China ohne neue Technologie absolut nicht überlebensfähig ist.

Dabei geht es nicht nur um nackte Zahlen, sondern auch um Know-how, die Steuerbasis und das Investitionsniveau; die Rentner werden Geld aus dem System abziehen, anstatt es langfristig zu investieren. All dies bedeutet, dass «die Regierungsmodelle der Nachkriegszeit nicht einfach pleitegehen, sondern zu gesellschaftlichen Selbstmordpakten werden». Demografische Trends brauchen Jahrzehnte, um sich zu verändern. Generationskohorten ändern ihre Größe nicht. Dieser langsame, unaufhaltsame Niedergang ist bereits festgeschrieben, ein drohender Eisberg, dem wir nicht mehr ausweichen können– es sei denn, wir finden Mittel und Wege, diese Arbeitskräfte zu ersetzen.

Auch der Druck auf unsere Ressourcen steht außer Frage. Allein die Beschaffung von Rohstoffen für die Cleantech-Branche ist unglaublich komplex und anfällig (von allem anderen ganz zu schweigen). Die Nachfrage nach Lithium, Kobalt und Graphit wird bis 2030 um 500 Prozent steigen. Derzeit sind Batterien die größte Hoffnung für eine saubere Wirtschaft, und doch reicht die Speicherkapazität an den meisten Orten allenfalls aus, um ein paar Minuten oder auch nur Sekunden des Energieverbrauchs zu überbrücken. Um schnell schwindende Bestände zu ersetzen oder Ausfälle in der Lieferkette für eine ganze Reihe von Materialien zu beheben, brauchen wir Alternativen, sprich: neue technologische und wissenschaftliche Durchbrüche in Bereichen wie der Materialwissenschaft. In Anbetracht der schwindenden Bevölkerung und der Ressourcenknappheit würde ein bloßer Stillstand wahrscheinlich eine weltweite Produktivitätssteigerung um das Zwei-bis Dreifache erfordern, und Stillstand ist für die große Mehrheit der Weltbevölkerung nicht akzeptabel, bei der beispielsweise die Kindersterblichkeit zwölfmal höher ist als in den Industrieländern. Natürlich bedeutet eine Fortsetzung der Entwicklung auf dem gegenwärtigen Niveau nicht nur demografischen und Ressourcenstress, sondern auch einen Klimanotstand. Machen wir uns nichts vor: Stehenbleiben

Ich glaube, wir unterschätzen, wie viel von unserer Lebensweise auf ständigen technologischen Verbesserungen beruht.

Ein Technologiemoratorium ist kein Ausweg, es ist eine Einladung zu einer andersgearteten Dystopie, zu einer andersgearteten Katastrophe. Selbst wenn es möglich wäre, ist die Vorstellung, die kommende Welle aufzuhalten, kein beruhigender Gedanke. Um den Lebensstandard aufrechtzuerhalten oder gar weiter zu verbessern, brauchen wir Technologie. Um einen Zusammenbruch zu verhindern, brauchen wir Technologie. Die Kosten für ein Nein sind existenziell. Und doch birgt jeder weitere Weg schwerwiegende Risiken und Schattenseiten. Das ist das große Dilemma.

Teil IV: DURCH DIE WELLE HINDURCH

Regulierung.

Wenn es nur so einfach wäre. Angesichts eines ehrfurchtgebietenden technologischen Wandels ist es einfach, «Regulierung» zu fordern. Das ist die klassische pessimismus-averse Reaktion. Es ist eine einfache Möglichkeit, das Problem zu verdrängen. Auf dem Papier wirkt eine solche Regulierung verlockend, ja sogar naheliegend und simpel; wenn man sie vorschlägt, klingt das klug, besorgt und sogar erleichtert. Die unausgesprochene Implikation dabei ist, dass das Problem lösbar ist, aber es ist das Problem von jemand anderem. Blickt man jedoch tiefer, werden die Risse deutlich.

Wie wir gesehen haben, sind die Regierungen unabhängig von der kommenden Welle mit mehreren Krisen konfrontiert– schwindendem Vertrauen, verfestigter Ungleichheit, polarisierter Politik, um nur einige zu nennen. Sie sind überlastet, ihre Beschäftigten sind unterqualifiziert und nicht auf die komplexen und schnelllebigen Herausforderungen, die vor ihnen liegen, vorbereitet.

Während Garagen-Amateure Zugang zu immer leistungsfähigeren Werkzeugen erhalten und Technologieunternehmen Milliarden für Forschung und Entwicklung ausgeben, sind die meisten Politiker in einem vierundzwanzigstündigen Nachrichtenzyklus aus O-Tönen und Fototerminen gefangen. Wenn eine Regierung nur noch von Krise zu Krise taumelt, hat sie wenig Spielraum, um die tektonischen Kräfte zu bewältigen, die fundiertes Fachwissen und sorgfältiges Urteilsvermögen auf ungewissen Zeitskalen erfordern. Es ist einfacher, diese Probleme zu ignorieren und sich auf die niedrig hängenden Früchte zu konzentrieren, die bei der nächsten Wahl eher Stimmen bringen.

Selbst Technologen und Forscher in Bereichen wie der künstlichen Intelligenz haben mit dem Tempo des Wandels zu kämpfen. Welche Chance haben dann die Regulierungsbehörden, die über deutlich weniger Ressourcen verfügen?

Technologie entwickelt sich von Woche zu Woche weiter. Die Ausarbeitung und Verabschiedung von Gesetzen dauert Jahre.

Zwanzig Jahre nach den Anfängen der sozialen Medien gibt es noch immer keinen einheitlichen Umgang mit einer aufkommenden mächtigen neuen Plattform (und außerdem: Ist der Datenschutz, die Polarisierung, das Monopol, der ausländische Besitzer oder die geistige Gesundheit das Kernproblem– oder alles zusammen?). Die kommende Welle wird diese Dynamik noch verschärfen.

Das zentrale Problem der Menschheit im 21. Jahrhundert ist die Frage, wie wir genügend legitime politische Macht und Klugheit, ausreichend technische Beherrschung und robuste Normen entwickeln können, um die Technologien so einzuschränken, dass sie weiterhin mehr Nutzen bringen als Schaden anrichten. Mit anderen Worten: Wie können wir das scheinbar Unbeherrschbare eindämmen?

Trotz scheinbar hervorragender Fachkenntnisse, institutioneller Tiefe, Planung und Ressourcen wurden selbst diejenigen, die auf dem Papier am besten vorbereitet waren, von der Corona-Pandemie überrollt. Auf den ersten Blick müssten die Regierungen eigentlich besser auf die Bewältigung neuer Risiken und Technologien vorbereitet sein als je zuvor. Die nationalen Budgets für solche Dinge sind in der Regel auf Rekordniveau. Die Wahrheit ist jedoch, dass neuartige Bedrohungen für jede Regierung außerordentlich schwierig zu handhaben sind. Das hat nichts mit der Idee der Regierung als solcher zu tun, sondern zeugt allein vom Ausmaß der vor uns liegenden Herausforderung.

Bürokratien der Reaktion auf Corona ähneln. Regierungen führen den vorigen Krieg, bekämpfen die vorige Pandemie, regulieren die vorige Welle. Regulierungsbehörden regulieren Dinge, die sie vorhersehen können. Wir leben jedoch in einem Zeitalter der Überraschungen.

Faktisch ist die chinesische KI-Politik zweigleisig: Es gibt einen regulierten zivilen Weg und einen freilaufenden militärisch-industriellen Weg.

vier Merkmale der kommenden Welle: Asymmetrie, Hyper-Evolution, Omni-Use und Autonomie.

Die derzeitigen Eliten sind so sehr in ihrer Pessimismus-Aversion gefangen, dass sie sich scheuen, die Gefahren, denen wir gegenüberstehen, ehrlich zu benennen. Sie sind froh, wenn sie im Privaten ihre Meinung äußern und debattieren können, aber nach draußen gehen und offen darüber sprechen wollen sie nicht. Sie sind an eine Welt der Kontrolle und Ordnung gewöhnt: der Kontrolle eines Vorstandsvorsitzenden über ein Unternehmen, eines Zentralbankers über die Zinssätze, eines Bürokraten über die Rüstungsbeschaffung oder eines Stadtplaners darüber, welche Schlaglöcher repariert werden sollen. Deren Kontrollmechanismen sind zwar zugegebenermaßen unvollkommen, aber sie sind bekannt und erprobt und funktionieren im Allgemeinen. Nicht so hier.

1. Sicherheit: Ein Apollo-Programm für technische Sicherheit

Es wäre zwar falsch zu behaupten, dass technische Korrekturen allein die gesellschaftlichen und ethischen Probleme lösen können, die durch KI entstehen, aber sie werden auf alle Fälle ein Teil davon sein. Technische Sicherheit, ganz unmittelbar, im Code, im Labor, ist der erste Punkt auf jeder Eindämmungsagenda.

Die Kernenergie zum Beispiel hat dank bekannter Katastrophen wie Tschernobyl und Fukushima einen schlechten Ruf. Dabei ist sie eigentlich bemerkenswert sicher. Die Internationale Atomenergie-Organisation (IAEA) hat mehr als hundert Sicherheitsberichte veröffentlicht, die sich mit spezifischen technischen Standards für bestimmte Situationen befassen, von der Klassifizierung radioaktiver Abfälle bis hin zur Vorbereitung auf Notfälle.

Die KI-Sicherheitsforschung ist nach wie vor ein unterentwickeltes Feld. Sie soll verhindern, dass immer mehr autonome Systeme unsere Fähigkeit, sie zu verstehen oder zu kontrollieren, überwinden.

Während Milliardensummen in Robotik, Biotechnologie und künstliche Intelligenz fließen, werden vergleichsweise winzige Beträge für ein technisches Sicherheitskonzept ausgegeben, das diese Systeme funktionell eindämmt. Die wichtigste Überwachungsinstanz für Biowaffen, das Biowaffenübereinkommen, verfügt beispielsweise über ein Budget von nur 1,4 Millionen Dollar und lediglich vier Vollzeitmitarbeiter – weniger als eine durchschnittliche McDonald’s-Filiale.

Verglichen mit dem Ausmaß dessen, was schiefgehen könnte, ist die Sicherheits- und Ethikforschung zu KI marginal.

Konkret wünschenswert wäre eine Gesetzgebung, die vorschreibt, dass ein fester Anteil – sagen wir, mindestens 20 Prozent – der Forschungs- und Entwicklungsbudgets von Pionierunternehmen in die Sicherheitsbemühungen fließen sollte, verbunden mit der Verpflichtung, wesentliche Ergebnisse an eine Arbeitsgruppe der Regierung zu übermitteln, damit der Fortschritt nachverfolgt und weitergegeben werden kann.

Die Pandemievorsorge könnte zum Beispiel durch den Einsatz von Glühbirnen mit niedriger Wellenlänge, die Viren abtöten, erheblich verbessert werden. Sie strahlen Licht mit einer Wellenlänge zwischen 200 und 230 Nanometern ab, also nahe dem ultravioletten Spektrum, und können Viren abtöten, ohne die äußere Hautschicht zu durchdringen: eine wirksame Waffe gegen Pandemien und die größere Ausbreitung von Krankheiten.

Eines der Probleme mit LLMs ist, dass sie immer noch unter dem Halluzinations-Problem leiden, bei dem sie eklatant falsche Informationen oftmals selbstbewusst als korrekt ausgeben. Das ist doppelt gefährlich, weil sie andererseits häufig recht haben, und zwar sogar auf Expertenniveau. Als Benutzer wiegt man sich deshalb nur allzu leicht in falscher Sicherheit und geht davon aus, dass alles, was aus dem System kommt, wahr ist.

Die Entwicklung von Methoden, mit denen Modelle ihre Entscheidungen umfassend erklären oder sie einer Überprüfung unterziehen können, ist zu einer entscheidenden technischen Frage für Sicherheitsforscher geworden. Diese Forschung steckt noch in den Kinderschuhen, aber es gibt einige vielversprechende Anzeichen dafür, dass KI-Modelle in der Lage sein könnten, Begründungen für ihre Ergebnisse zu liefern (wenn auch noch keine kausalen Begründungen), auch wenn noch unklar ist, wie zuverlässig diese sein werden.

2. Audits: Wissen ist Macht, Macht ist Kontrolle

Tatsächlich sind eine sinnvolle Beaufsichtigung, durchsetzbare Regeln und die Überprüfung der technischen Umsetzung unerlässlich.

Eine externe Kontrolle ist unerlässlich. Zurzeit gibt es keine globalen formalen oder routinemäßigen Bemühungen, die eingesetzten Systeme zu testen. Es gibt keinen Frühwarnmechanismus für technologische Risiken und keine einheitliche oder strenge Methode, um festzustellen, ob die Systeme die Vorschriften einhalten oder sich wenigstens an gemeinsam vereinbarte Benchmarks halten. Es gibt weder die Institutionen noch die standardisierten Bewertungen oder die notwendigen Instrumente dafür.

Derzeit wird nur ein Bruchteil der synthetisierten DNA auf potenziell gefährliche Elemente untersucht, aber eine globale Anstrengung wie das SecureDNA-Programm, bei dem jeder Synthesizer – ob zu Hause oder in einem großen, entfernten Labor – an ein zentrales, sicheres und verschlüsseltes System angeschlossen wird, das nach pathogenen Sequenzen suchen kann, ist ein guter Anfang.11] Wenn jemand potenziell schädliche Sequenzen druckt, werden sie markiert. Das Programm ist cloudbasiert, kostenlos, kryptografisch sicher und wird in Echtzeit aktualisiert.

Wir werden ein neues, sicheres und schwer zu missbrauchendes Gleichgewicht zwischen Überwachung und Sicherheit finden müssen, das für die kommende Welle funktioniert.

Es ist wichtig, sowohl technische Sicherheitsvorkehrungen als auch Kontrollmaßnahmen einzuführen, aber dazu brauchen wir etwas, das wir nicht haben: Zeit.

3. Engpässe: Zeit gewinnen

Zeit zu gewinnen, ist in einer Zeit der Hyper-Evolution von unschätzbarem Wert. Zeit, um weitere Eindämmungsstrategien zu entwickeln. Zeit, um zusätzliche Sicherheitsmaßnahmen einzubauen. Zeit, um den Aus-Schalter zu testen. Zeit, um verbesserte Verteidigungstechnologien zu entwickeln. Zeit, um den Nationalstaat zu stärken, besser zu regulieren oder auch nur das entsprechende Gesetz zu verabschieden. Es ist an der Zeit, internationale Allianzen zu knüpfen.

Die jüngste Geschichte zeigt, dass Technologie trotz ihrer globalen Verbreitung auf einigen wenigen kritischen «Hubs» für Forschung und Entwicklung und Kommerzialisierung ruht: sogenannten Choke Points. Schauen wir uns diese Punkte bemerkenswerter Konzentration an: Xerox und Apple für Schnittstellen etwa oder DARPA und das MIT bei Internet oder Genentech, Monsanto, Stanford und die UCSF für Gentechnik. Es ist bemerkenswert, wie langsam dieses Erbe verschwindet. Im Bereich der künstlichen Intelligenz wird der Löwenanteil der fortschrittlichsten Grafikprozessoren (GPUs), die für die neuesten Modelle unerlässlich sind, von einem einzigen Unternehmen, der amerikanischen Firma NVIDIA, entwickelt. Die meisten der Chips werden von einem einzigen Unternehmen, TSMC, in Taiwan hergestellt, die fortschrittlichsten in einem einzigen Gebäude, der modernsten und teuersten Fabrik der Welt. Die Maschinen, mit denen TSMC diese Chips herstellt, stammen von einem einzigen Lieferanten, dem niederländischen Unternehmen ASML, dem bei weitem wertvollsten und wichtigsten Technologieunternehmen Europas. Die Maschinen von ASML, die eine als Extreme-Ultraviolett-Lithographie (EUV-Lithographie) bekannte Technik verwenden und Chips mit erstaunlicher atomarer Präzision herstellen, gehören zu den komplexesten Fertigungserzeugnissen, die es je gab.18] Diese drei Unternehmen haben die Kontrolle über hochmoderne Chips, eine Technologie, die physikalisch so eingeschränkt ist, dass sie einer Schätzung zufolge bis zu zehn Milliarden Dollar pro Kilogramm kostet.19] Chips sind nicht der einzige Engpass. Auch das Cloud-Computing im industriellen Maßstab wird von sechs großen Unternehmen beherrscht. Und die AGI wird momentan realistisch von einer Handvoll gut ausgestatteter Gruppen verfolgt, allen voran von DeepMind und OpenAI.

Ein Engpass bei den seltenen Erden Kobalt, Niob und Wolfram könnte ganze Industriezweige zum Erliegen bringen.20] Etwa 80 Prozent des hochwertigen Quarzes, der für Photovoltaikmodule und Siliziumchips benötigt wird, stammen aus einer einzigen Mine in North Carolina.

Die Zahl der Menschen, die an allen in diesem Buch thematisierten Spitzentechnologien arbeiten, beträgt wahrscheinlich nicht mehr als 150.000.

Irgendwann werden all diese Technologien weit verbreitet sein. Bis dahin sind die nächsten gut fünf Jahre absolut entscheidend, ein enges Zeitfenster, in dem bestimmte Druckpunkte die Technologie noch bremsen können. Solange die Möglichkeit besteht, sollten wir sie nutzen, um so Zeit zu gewinnen.

4. Macher: Kritiker sollten die Technologie bauen

Glaubwürdige Kritiker müssen Praktiker sein. Die richtige Technologie zu entwickeln, über die praktischen Mittel für eine Kursänderung zu verfügen, nicht nur zu beobachten und zu kommentieren, sondern aktiv den Weg zu weisen, den Wandel zu vollziehen und die notwendigen Maßnahmen an der Quelle durchzuführen – all das bedeutet, dass Kritiker sich engagieren müssen. Sie können nicht nur vom Rand aus schreien. Das ist keineswegs ein Argument gegen Kritiker, ganz im Gegenteil. Es ist die Erkenntnis, dass die Technologie Kritiker dringend braucht – auf jeder Ebene, aber vor allem an vorderster Front, bei der Entwicklung und bei der Herstellung, bei der Auseinandersetzung mit der greifbaren, alltäglichen Realität der Schöpfung. Der Appell an alle Kritiker kann deshalb nur lauten: Engagiert euch!

Als ich DeepMind mitbegründete, war es ein Novum, Sicherheits- und Ethikbelange in das Kerngefüge eines Technologieunternehmens zu integrieren. Allein die Verwendung des Wortes «Ethik» in diesem Zusammenhang hat mir oftmals irritierte Blicke eingebracht; heute dagegen läuft «Ethik» leider Gefahr, zu einem überstrapazierten Modewort zu werden.

In einer Welt festgefahrener Anreize und unzureichender Regulierung braucht die Technologie Kritiker nicht nur von außen, sondern auch in ihrem Herzstück.

5. Unternehmen: Gewinn + Zweck

Profit treibt die kommende Welle an. Es gibt keinen Weg zu mehr Sicherheit, der diese Tatsache nicht anerkennt und sich mit ihr auseinandersetzt.

Containment braucht eine neue Generation von Unternehmen. Es braucht Gründer und Menschen, die in der Technologiebranche arbeiten, die einen positiven Beitrag für die Gesellschaft leisten. Es braucht aber auch etwas ganz anderes, viel Schwierigeres. Es braucht die Politik.

6. Regierungen: Überleben, reformieren, regulieren

Die Nationalstaaten kontrollieren immer noch viele grundlegende Elemente der Zivilisation: Recht, Geldversorgung, Steuern, Militär usw. Das hilft ihnen bei der Bewältigung der vor ihnen liegenden Aufgabe, belastbare Sozialsysteme, soziale Sicherungsnetze, Sicherheitsarchitekturen und Governance-Mechanismen zu schaffen und aufrechtzuerhalten, die in der Lage sind, schweren Belastungen standzuhalten. Aber sie müssen auch im Detail wissen, was passiert: Im Moment operieren sie blind inmitten eines Wirbelsturms.

Der Physiker Richard Feynman sagte einmal: «Was ich nicht erschaffen kann, verstehe ich nicht.» Dieser Satz könnte heute für Regierungen und ihren Umgang mit Technologie kaum zutreffender sein. Ich denke, die Regierung muss sich viel stärker engagieren und wieder echte Technologien entwickeln, Standards setzen und interne Fähigkeiten fördern. Sie muss auf dem freien Markt um Talente und Hardware konkurrieren. Es gibt keine zwei Möglichkeiten, das ist teuer und wird mit verschwenderischen Fehlern einhergehen.

Deutlich mehr technische In-House-Expertise ist gut angelegtes Geld, auch wenn das Ganze mit erheblichen Kosten verbunden ist. Die Regierungen sollten sich nicht auf Unternehmensberater, Auftragnehmer oder andere Drittanbieter verlassen. Hauptamtliche, angesehene Mitarbeiter, die angemessen bezahlt werden und mit der Privatwirtschaft konkurrieren können, sollten ein wesentlicher Bestandteil der Lösung sein. Stattdessen sind die Gehälter in der Privatwirtschaft oft zehnmal so hoch wie die entsprechenden Gehälter im öffentlichen Sektor für wichtige nationale Aufgaben – ein untragbarer Zustand.

Heute kann jeder KI entwickeln. Jeder kann ein Labor einrichten. Wir sollten deshalb ein stärker lizenziertes Umfeld schaffen. Das würde zu klareren Verantwortlichkeiten und härteren Mechanismen für den Entzug des Zugangs und die Beseitigung von Schäden im Zusammenhang mit fortgeschrittenen Technologien führen. Die anspruchsvollsten KI-Systeme, Synthesizer oder Quantencomputer sollten nur von verantwortungsbewussten, zertifizierten Entwicklern hergestellt werden. Als Teil ihrer Lizenz müssten sie sich an klare, verbindliche Sicherheitsstandards halten, Regeln befolgen, Risikobewertungen durchführen, Dokumentationen führen und Live-Einsätze genau überwachen. So wie man nicht einfach ohne Genehmigung der Bundesluftfahrtbehörde eine Rakete in den Weltraum schießen kann, sollte man morgen nicht einfach eine hochmoderne KI auf den Markt bringen können.

Künftig muss der Schwerpunkt der Besteuerung auf dem Kapital liegen, um nicht nur eine Umverteilung zugunsten der Betroffenen zu finanzieren, sondern auch für einen langsameren und gerechteren Übergang zu sorgen.

Darüber hinaus müssen Mechanismen für die grenzüberschreitende Besteuerung dieser riesigen Unternehmen gefunden werden, um sicherzustellen, dass sie ihren gerechten Anteil an der Aufrechterhaltung funktionierender Gesellschaften zahlen. Hier gibt es durchaus ermutigende Experimente: Ein fester Anteil des Unternehmenswerts, der beispielsweise als öffentliche Dividende gezahlt wird, würde dafür sorgen, dass in Zeiten extremer Konzentration Werte an die Bevölkerung zurückfließen.

7. Allianzen: Zeit für Verträge

Es gibt keinen Weg zu technologischer Sicherheit, wenn wir nicht mit unseren Gegnern zusammenarbeiten.

Harter Realismus hat eine viel größere Chance auf Erfolg als vage, unrealistische Vorschläge. Wir müssen das institutionelle Rad nicht völlig neu erfinden, das würde nur zusätzliche Gelegenheiten für Rivalitäten und Selbstdarstellung schaffen. Wir sollten nur einfach jede Möglichkeit nutzen, es zu verbessern – und zwar schnell.

8. Kultur: Versagen mit Respekt akzeptieren

Die beeindruckende Sicherheitsbilanz der Fluggesellschaften ist auf zahlreiche technische und betriebliche Verbesserungen zurückzuführen, die im Laufe der Jahre vorgenommen wurden. Dahinter steht jedoch etwas nicht minder Wichtiges: die Kultur. In der Luftfahrtbranche wird auf allen Ebenen konsequent versucht, aus Fehlern zu lernen. Abstürze sind nicht nur tragische Unfälle, die zu beklagen sind, sondern auch grundlegende Lernerfahrungen, um herauszufinden, wie Systeme versagen, und um Probleme zu diagnostizieren, sie zu beheben und dieses Wissen in der gesamten Branche weiterzugeben. Bewährte Praktiken sind also kein Firmengeheimnis, kein Vorteil gegenüber konkurrierenden Fluggesellschaften: Sie werden von den Wettbewerbern im gemeinsamen Interesse der Vertrauenswürdigkeit und der Sicherheit der gesamten Branche freudig umgesetzt.

Doch anstatt sie für Experimente zu loben, lässt man Unternehmen und Teams im Regen stehen. Wer das Richtige tut, bekommt zum Dank nur eine Mischung aus Zynismus, Twitter-Gewitter und bösartigen öffentlichen Bewertungen. Warum sollte jemand in diesem Zusammenhang seine Fehler wirklich zugeben? Das muss aufhören, wenn wir bessere, verantwortungsvollere und besser kontrollierbare Technologien entwickeln wollen. Das Eingeständnis des Scheiterns muss ein echtes Anliegen sein und nicht nur eine Floskel. Zunächst einmal sollte ein offenes Eingeständnis von Fehlern, selbst bei unbequemen Themen, mit Lob und nicht mit Beleidigungen bedacht werden. Das Erste, was ein Technologieunternehmen tun sollte, wenn es auf ein Risiko, einen Negativeffekt oder eine Fehlfunktion stößt, ist die sichere Kommunikation mit der Welt. Wenn in einem Labor ein Leck auftritt, sollte es das sogleich bekannt machen und nicht vertuschen. Die anderen Akteure in diesem Bereich – andere Unternehmen, Forschungsgruppen, Regierungen – müssen dann als Erstes zuhören, nachdenken, Unterstützung anbieten und, was am wichtigsten ist, lernen und das Gelernte aktiv umsetzen. Diese Einstellung hat im Luftraum Tausende von Leben gerettet. Sie könnte in den kommenden Jahren weitere Millionen retten.

9. Bewegungen: Menschen-Macht

Der Großteil der Menschheit kümmert sich noch nicht systematisch um diese Dinge. Abseits von Twitter, außerhalb der Blase, haben die meisten Menschen ganz andere Sorgen, andere Probleme, die in einer fragilen Welt Aufmerksamkeit verlangen.

10. Der schmale Pfad: Der einzige Weg ist der Weg hindurch

Ein DNA-Screening auf allen Synthesizern ist ein absolutes Muss, und darüber hinaus sollte das gesamte System cloudbasiert sein, damit es in Echtzeit an neu erkannte und aufkommende Bedrohungen angepasst werden kann. Die schnelle Erkennung eines Ausbruchs ist in diesem Schema nicht minder wichtig, insbesondere bei subtilen Krankheitserregern mit langer Inkubationszeit.

Resiliente und vorbereitete Länder sind lebenswichtig: Die extremsten Pandemien würden selbst die Aufrechterhaltung der Lebensmittel-, Strom- und Wasserversorgung, der öffentlichen Ordnung und der medizinischen Versorgung erschweren. Ein Vorrat an hochmoderner pandemiesicherer Schutzausrüstung für alle wichtigen Arbeitskräfte würde einen gewaltigen Unterschied machen. Das Gleiche gilt für eine gesicherte Versorgung mit medizinischer Ausrüstung, die einem schweren Schock standhalten kann. Diese Glühbirnen mit niedriger Wellenlänge, die Viren zerstören können? Sie müssen überall vorhanden sein, bevor die Pandemie ausbricht, oder zumindest bereitstehen, um verteilt zu werden.

1. Technische Sicherheit: Konkrete technische Maßnahmen, um mögliche Schäden abzumildern und die Kontrolle zu behalten.
2. Audits: Ein Mittel, um die Transparenz und Zurechenbarkeit von Technologie sicherzustellen.

Engpässe/Drosselpunkte: Hebel, um die Entwicklung zu verlangsamen und Zeit für Regulierungen und defensive Technologien zu gewinnen.
Macher: Soll sicherstellen, dass verantwortungsvolle Entwickler von Anfang an angemessene Kontrollmechanismen in die Technologie einbauen.
Unternehmen: Sollen die Anreize hinter der Technologie mit deren Eindämmung in Einklang bringen.
Regierungen: Die Unterstützung von Regierungen, damit sie selbst Technologie bauen und regulieren sowie schadensmindernde Maßnahmen umsetzen.
Allianzen: Schaffung eines Systems internationaler Kooperation, um Gesetze und Programme zu harmonisieren.
Kultur: Eine Kultur, um Erfahrungen und Misserfolge zu teilen und so rasch Gegenmittel entwickeln und verbreiten zu können.
Bewegungen: All das benötigt öffentlichen Input auf jeder Ebene, d.h., es gilt, Druck auf jede Komponente auszuüben und sie rechenschaftspflichtig zu machen.

Bei Schritt 10 geht es um Kohärenz: Sie soll sicherstellen, dass jedes Element mit den anderen harmoniert, dass die Eindämmung ein positiver Kreislauf sich gegenseitig verstärkender Maßnahmen ist und nicht eine lückenhafte Kakophonie konkurrierender Programme. In diesem Sinne geht es bei Eindämmung nicht um diesen oder jenen spezifischen Vorschlag, sondern um ein Phänomen, das sich aus dem kollektiven Zusammenspiel dieser Vorschläge ergibt, ein Nebenprodukt von Gesellschaften, die lernen, mit den vom Homo technologicus aufgeworfenen Risiken umzugehen und sie abzufedern. Ein Schritt allein wird nicht funktionieren, weder bei Krankheitserregern noch bei Quantencomputern oder künstlicher Intelligenz, aber ein Plan wie dieser gewinnt an Kraft durch die sorgfältige Anhäufung ineinandergreifender Gegenmaßnahmen, Leitplanken auf Leitplanken, von internationalen Verträgen bis zur Stärkung der Lieferkette für neue Schutztechnologien.

Der Ökonom Daron Acemoglu und der Politikwissenschaftler James Robinson teilen die Ansicht, dass liberale Demokratien weit weniger sicher sind, als es den Anschein hat. Sie sehen den Staat als einen von Natur aus instabilen «gefesselten Leviathan»: riesig und mächtig, aber in Schach gehalten durch beharrliche Zivilgesellschaften und Normen.

Ständig herrscht Druck in Richtung despotischer Leviathane, der nur durch ständiges Gegengewicht aufgehalten werden kann. Es gibt kein endgültiges Ziel, keine glückliche, sichere und dauerhafte Existenz am Ende des Korridors; vielmehr handelt es sich um einen dynamischen, instabilen Raum, in dem Eliten und Bürger um Ergebnisse ringen und gefesselte Leviathane jederzeit entweder verschwinden oder despotisch werden können.

Auf der einen Seite ist die totale Offenheit für alle Experimente und Entwicklungen ein todsicheres Rezept für die Katastrophe.

Ehrlich gesagt, bin ich mir nicht immer sicher, wo das richtige Gleichgewicht liegt, aber ich bin inzwischen der festen Überzeugung, dass völlige Offenheit die Menschheit vom schmalen Pfad abbringen wird. Auf der anderen Seite sollte aber auch klar sein, dass vollständige Überwachung und vollständige Abschottung unvorstellbar, falsch und katastrophal sind. Übertriebene Kontrolle führt schnurstracks in die Dystopie. Auch ihr gilt es zu widerstehen.

Aber es muss möglich sein, das große Dilemma des 21. Jahrhunderts zu meistern. Wir alle sollten uns daran gewöhnen, in dieser Ära exponentiellen Wandels und sich entfaltender Kräfte mit Widersprüchen zu leben. Nehmen wir das Schlimmste an, planen wir es ein, setzen wir alles ein.

Die einzige Möglichkeit besteht also darin, es zum ersten Mal richtig zu machen. Es muss sichergestellt werden, dass die Anpassung an die Technologie den Menschen nicht einfach aufgezwungen wird, wie es bei der industriellen Revolution der Fall war. Vielmehr muss dafür gesorgt werden, dass die Technologie von Anfang an an die Menschen, an ihr Leben und an ihre Hoffnungen angepasst wird. Angepasste Technologien sind eingedämmte Technologien. Die dringlichste Aufgabe besteht nicht darin, die Welle zu reiten oder aufhalten zu wollen, sondern sie zu gestalten.

Kernaussagen des Buches

Zusammenfassung

Zitate

KAPITEL 1 : EINE EINDÄMMUNG IST NICHT MÖGLICH

Teil I: HOMO TECHNOLOGICUS

Teil II: DIE NÄCHSTE WELLE

Teil III: VERSAGENDE STAATEN

Teil IV: DURCH DIE WELLE HINDURCH

Kommentar absenden Antworten abbrechen

Archive

Archiv

The Coming Wave: Künstliche Intelligenz, Macht und das größte Dilemma des 21. Jahrhunderts

Kernaussagen des Buches

Zusammenfassung

Zitate

KAPITEL 1 : EINE EINDÄMMUNG IST NICHT MÖGLICH

Teil I: HOMO TECHNOLOGICUS

Teil II: DIE NÄCHSTE WELLE

Teil III: VERSAGENDE STAATEN

Teil IV: DURCH DIE WELLE HINDURCH

Kommentar absenden Antworten abbrechen

Archive

Archiv

Schlagwörter