Fokus: Forschungspartnerin KI
Erwarten wir das Unerwartete
Eine Kombination von riesigen Sprachmodellen wie GPT und dem bestärkenden Lernen könnte dazu führen, dass künstliche Intelligenz auch die Forschung selbst fundamental verändert. Ein Blick in die Kristallkugel.
Die neuesten Modelle der künstlichen Intelligenz (KI) bringen Umwälzungen in mythologischen Grössenordnungen. So verglich Thomas Friedman, bekannter Kolumnist der New York Times, die gegenwärtige Situation mit Sprachgeneratoren wie GPT-4 und Bildgeneratoren wie Stable Diffusion mit dem Einfluss von Gott Prometheus, der in der Sage den Menschen Feuer brachte und so die Zivilisation startete. Alles Bisherige würde über den Haufen geworfen. «Wir können nicht kleine Anpassungen vornehmen, sondern müssen alles ändern: wie wir kreativ sind, miteinander konkurrenzieren, zusammenarbeiten, lernen, regieren und, ja, wie wir betrügen, Verbrechen begehen und Kriege führen.»
Forschen kommt in Friedmans Liste nicht vor. Ist es, weil das Erkunden noch nicht kartierter Landschaften die Domäne des Menschen ist? Diese Frage beschäftigt auch den EPFL-Professor Rüdiger L. Urbanke, der beim Geneva Science and Diplomacy Anticipator (GESDA) versucht, das Zukunftspotenzial von KI abzuschätzen: «Wenn Sie mich vor drei Monaten gefragt hätten, welche Jobs am ehesten bedroht sind durch KI, hätte ich wohl noch das genaue Gegenteil gesagt, dass die Jobs nämlich überall da sicher sind, wo ein gewisses Mass an Originalität wichtig ist. Doch nun, mit GPT und Stable Diffusion, kann man sich plötzlich vorstellen, dass es die ganze Kreativindustrie mit einer ganz ordentlich arbeitenden KI-Konkurrenz zu tun bekommt.»
Dass KI einmal eigenständig forschen und Neues entdecken wird, davon geht jedenfalls Pedro Domingo, emeritierter Professor der University of Washington, aus: «Manche sagen, maschinelles Lernen könne statistische Regularitäten in Daten finden, aber niemals etwas Tiefgründiges wie Newtons Gravitationsgesetze entdecken», schrieb er 2016 in seinem erfolgreichen Einführungsbuch für KI, «The Master Algorithm»: «Zweifellos ist dies bisher nicht passiert, aber ich wette, dass es einmal so weit sein wird.»
Die Frage kam damals im Zusammenhang mit Big Data auf. Sie veranlasste auch den Tech-Autor Chris Anderson, im Magazin Wired ein Manifest einer neuen Wissenschaft zu veröffentlichen: «Korrelation macht Kausalität überflüssig, und wissenschaftlicher Fortschritt ist ohne kohärente Modelle, Einheitstheorie oder mechanistische Erklärung möglich. Wir müssen nicht am Alten festhalten. Es ist Zeit zu fragen: Was kann die Wissenschaft von Google lernen?»
KI faltet erfolgreich Proteine
Die gegenwärtigen Umwälzungen waren damals höchstens zu erahnen. Doch inzwischen hat sich KI als Werkzeug in vielen Feldern der akademischen Forschung etabliert, ohne gleich erkenntnistheoretische Grundsatzfragen aufzuwerfen. Als jüngstes Beispiel gilt Alphafold, ein Programm, das ein altes Problem in vielen Fällen recht gut lösen kann: die Faltung eines Proteins präzise vorherzusagen.
Für die Überraschung sorgte die Firma Deepmind, die ihre Methode beim Go-Spiel perfektioniert hatte. Dabei erhielt die KI keine genaue Anleitung zur Lösung des Problems. Sie wurde optimiert, indem ihre Fortschritte belohnt und ihre Rückschritte bestraft wurden – mit Punktegutschriften und -abzügen. Bei der Methode des sogenannten bestärkenden Lernens wird der KI überlassen, wie genau eine Lösung am Ende zustande kommt. So entstehen oft auch unerwartete Zugänge und Resultate, die Go-Spezialisten damals mit der Entdeckung eines neuen Kontinents verglichen hatten.
Ob Forschende dereinst dank kreativer KI auf die grossen weissen Flecken der Landkarte vorstossen können, bleibt eine offene Frage. Jack Clark, KI-Evaluationsspezialist und Autor des einflussreichen Newsletters Import AI, sieht jedenfalls Parallelen in der Entwicklung des bestärkenden Lernens heute und der grossen Sprachmodelle wie GPT vor ein paar Jahren. Es lasse sich eine Gesetzmässigkeit zwischen Grösse und Leistung der Modelle erkennen. Sobald voraussehbar sei, dass sich die Leistung der Systeme mit dem Einsatz zusätzlicher Ressourcen entscheidend steigern lässt, werde sich die Entwicklung zusätzlich beschleunigen.
Das nächste grosse Ding könnte folglich die Verbindung von bestärkendem Lernen mit den Sprachmodellen sein: Vielleicht lernen die Forschenden Neues dann nicht mehr mit KI-Methoden, sondern ganz direkt im Gespräch mit der KI. Vielleicht ist das Zeitalter der methodischen Forschung doch noch lange nicht vorbei, wie Anderson meinte, doch die Modelle, Theorien und mechanistischen Erklärungen werden neu von der KI erdacht – nicht mehr von Menschen.
Mehrjahresplan unmöglich
Diese Vision mag verstiegen klingen. Zwar stimmt es, dass die grossen Sprachmodelle «nur» die plausibelste Fortsetzung einer Spracheingabe berechnen. Aber die Resultate simpel beiseitezuwischen und zu argumentieren, dass die Modelle nur so tun, als wüssten sie etwas, ohne anwendbares Wissen zu erlangen, das funktioniert spätestens seit GPT-4 nicht mehr. Zur Veranschaulichung: Forderte man das Vorgängermodell GPT-3 zu einer Schachpartie auf, spielte es mit grosser Überzeugung Blödsinn. Doch mit dem nächst-grösseren Modell ist ein wichtiger Schritt passiert: Die KI hat nun auch die Regeln des Spiels gelernt und hat dabei ein durchaus respektables Niveau erlangt.
Urbanke von GESDA plädiert jedenfalls dafür, das Unerwartete zu erwarten. Es gäbe immer wieder Überraschungen im weiten Feld der KI. «Man kann keinen Zehnjahresplan machen, aber man muss nahe an den Entwicklungen bleiben, und das heisst, man muss Grundlagenforschung betreiben.» Dabei stellt sich natürlich wieder die Frage nach den Ressourcen, wenn die Modelle immer mächtiger werden. Können nationale Infrastrukturen überhaupt mit den grossen Firmen mithalten bei der Weiterentwicklung der KI? Noch einmal Urbanke: «Es muss nicht ein Cern sein. Ein paar Player, die zusammenspannen, reichen schon.» Er sei jedenfalls nicht besorgt diesbezüglich: «Wir sind gut aufgestellt in der Schweiz.»