Wow, so viel Publikum! Was passiert, wenn eine Person auf der Bühne steht und zum Beispiel einen Vortrag halten muss? Das lässt sich heute – zum Beispiel für psychologische Versuchsreihen – in virtuellen Welten untersuchen. | Foto: Vizard

Die Aufgabe ist immer dieselbe. Die fast 150 Probanden sollen einen Raum im Sanaa-Gebäude finden, im Essener Bauwerk mit seinen über 130 unterschiedlichen Fenstern und vier Ebenen mit variierenden Raumhöhen. Es gilt als architektonisches Meisterwerk. «Ein tolles, aber schwieriges Gebäude», sagt Christoph Hölscher. Wer etwa vom lichten Auditorium im Erdgeschoss in einen Besprechungsraum im dritten Obergeschoss gelangen will, verliert rasch die Orientierung.

Deswegen hat das Team um den Kognitionsforscher von der ETH Zürich den Betonwürfel in einem virtuellen Modell nachgebaut. Ein Grundproblem sei, dass man im Inneren keinen guten Überblick habe, wie das Bauwerk als Ganzes funktioniere. Die Forschenden ersetzten deswegen etwa das geschlossene Treppenhaus durch ein optisch durchlässiges und fügten an bestimmten Stellen Atrien in die Decken ein, durch die man in andere Etagen schauen kann. «Am realen Gebäude kann man so etwas nicht eben mal verändern», so Hölscher. Das Ergebnis der Tests: Verbesserte Blickachsen zu wichtigen Orientierungspunkten wie den Treppenhäusern ermöglichen eine schnellere Navigation. Architektur soll berücksichtigen, wie Menschen kognitiv funktionieren, sagt seine Studienleiterin Michal Gath-Morad.

Aufs Wesentliche reduziert

In den Kognitionswissenschaften, in der Sozialpsychologie, in der Architektur und auch in der Marktforschung wird vermehrt mit vir­tuellen Modellen geforscht, sagt Hölscher. Probanden, die VR-Brillen tragen, interagieren mit virtuellen Personen und Umgebungen und testen systematisch das menschliche Verhalten. Die Szenarien werden mithilfe von Software aus der Spieleindustrie nachgebaut. Wichtig sei, so Hölscher, wie gut damit das Versetzen in eine andere Realität gelinge, Experten sprechen vom objektiven Grad der Immersion.

Das Experimentieren sozusagen «in virtuality» habe grosse Vorteile, wie Hölscher betont. Die Versuche sind meist einfacher und damit günstiger zu produzieren. Jedes Experiment hat klare Rahmenbedingungen, ist also gut wiederholbar. Das ist ein grosser Pluspunkt für Wissenschaften, in denen die Reproduzierbarkeit seit Jahren diskutiert wird. Manche Experimente wie das von Hölscher wären in der Realität schwer bis gar nicht umzusetzen. Welcher Bauherr würde sich probehalber ein Loch in die Decke fräsen lassen?

Mit dem virtuellen Setting als Modell erinnern die Kognitions- und Sozialwissenschaften methodisch an Praktiken in den Naturwissenschaften. Forschende in den Lebenswissenschaften arbeiten zum Beispiel häufig mit Modellorganismen, wenn sie grundlegende Prozesse verstehen wollen. Hölscher bildet vom Gebäude in Essen vor allem die räumliche Struktur und die zentralen Sichtachsen ab, Boden­beschaffenheit und Wandfarben etwa fehlen. Beim Versuch wird also auf die wesentlichen Bestandteile reduziert. Je nach Frage werden ­Details ergänzt.

Um virtuelle Modelle erkenntnisbringend anwenden zu können, müssen die Forschenden herausfinden, welche Faktoren sich in einem VR-Versuch sinnvoll abbilden lassen – und damit auch die Grenzen der Methode realistisch einschätzen. «Virtuelle Realität ist immer nur ein Modell. Ähnlich wie in der Physik Atom-Modelle helfen, die Realität zu verstehen, ohne diese vollständig abzubilden», erklärt Jascha Grübel von der Universität Wageningen, der die Anwendung von Computertechnologien in verschiedensten Forschungs­bereichen untersucht und an der ETH Zürich gemeinsam mit Hölscher arbeitet. Dieser ergänzt: Man könne im ­Modell kontrolliert Varianten untersuchen, die sich klar voneinander unterscheiden. «Im Vergleich können wir grund­legende Verhaltensmuster unterscheiden.»

Nützliche Deepfakes

Szenenwechsel, ein Labor in Lausanne: Die junge Frau mit den dunklen Augen schaut einen an, blinzelt, nickt kurz und lächelt ein wenig. Mehr passiert nicht. In einer zweiten Szene lächelt sie nicht mehr, blickt den Betrachter auch nicht mehr an, sondern seitlich an ihm vorbei. Es sind zwei Szenen aus einem psychologischen Experiment von Marianne Schmid Mast. Die Ver­haltensforscherin von der Universität Lausanne will klären, wie sich ­Nicken, Lächeln und direkter Blickkontakt bei einem Bewerbungs­gespräch auswirken. Der Reihe nach beurteilen Probanden verschiedene virtuelle Personen wie die Frau mit den dunklen Augen: Welches Verhalten finden sie sympathischer, wen würden sie eher einstellen?

Prinzipiell ist die Versuchsanordnung ein Klassiker, um die Regeln sozialer Interaktion etwa am Arbeitsplatz oder bei Jobinterviews zu begreifen. Im Labor von Schmid Mast schauen sich Studienteilnehmende dazu immer öfter KI-generierte Videos an und nicht mehr Schauspielerinnen in gespielten Szenen. Eine Software kann aus dem Foto einer beliebigen Testperson ein sogenanntes Deepfake kreieren, das ein definiertes Bewegungsmuster ausführt. Der Hintergrund ist meist eher neutral gehalten. «Wichtig ist, dass nichts vom Experiment ablenkt», sagt Schmid Mast. «Die Szene kann durchaus einfach aussehen, das hilft sogar manchmal.» Alles, was irritiert, wirft den Betrachter aus dem Experiment. Auch ein zu perfekter Avatar würde übrigens irritieren. Uncanny Valley nennen die Forschenden den Effekt. Das gilt auch in der Architektur, wie Hölscher sagt: «Skizzen sind oft besser als perfekte Renderings, um einen Eindruck zu bekommen.»

Sind die Avatare einmal programmiert, lässt sich mit verschiedensten Varianten das Verhalten testen: Männer, Frauen, Menschen mit heller oder dunkler Hautfarbe. Alternativ würde der gleiche Versuch erfordern, unterschiedliche Schauspielerinnen die definierten Gesten und Blicke einüben und immer gleich ausführen zu lassen. Keine leichte und vor allem eine teure Angelegenheit. «In unseren Deepfake-Videos können wir zudem gezielt verschiedene Verhaltensweisen kombinieren und ihre Wirkung kontrolliert untersuchen», so Schmid Mast.

Wenn man nonverbale Kommunikation untersucht, müssen etwa Nervosität oder Selbstsicherheit in eine Kombination mehrerer Gesten übersetzt werden. «Erst die Standardisierung des Verhaltens lässt kausale Schlüsse zu», erklärt Schmid Mast. Beobachtungen in Feldversuchen, also realen Situationen, seien oft zu komplex, zu viele weitere Variablen könnten einen Einfluss haben. Daraus ergäben sich bisweilen Interpretationen, die nur auf Zufallsphänomenen beruhen. Bei kontrollierten Bedingungen dagegen messe man klaren Outcome.

Die Verhaltensforscherin sieht auch die Grenzen der KI-Experimente in ihrem Feld. Deepfakes von sozialen Interaktionen zwischen zwei Personen etwa sind noch schwer herzustellen. Das Lächeln in ihrem Versuch sei zudem noch eher verhalten, weil es mit sichtbaren Zähnen schnell gruselig gerate. Bestimmen da vielleicht die Limitationen der Technologie die Fragestellungen? Das dürfe nicht passieren, sagt Schmid Mast, man könne ja immer auch auf reale Versuche ausweichen. Dennoch: Aufgrund der sich rasant ent­wickelnden technischen Möglichkeiten gewinnen die Experimente mit KI-generierten Videos in ihrem Feld an Bedeutung.

Der Boom von Forschung mit KI-generierten Videos und VR ist da. Da werden schon mal für eine Public-Health-Studie virtuelle Städte kreiert, um die Auswirkungen von Ordnung und Verwahrlosung im Stadtbild auf die Gesundheit zu untersuchen. Oder man untersucht mit virtuellen Modellen, ob neue Windräder und Solaranlagen eher in bebauter oder natürlicher Umgebung als angenehm empfunden werden. Die Vielfalt der Anwendungsbereiche ist enorm.

Ethische Grenzen auch im Virtuellen

Es gebe jedoch immer wieder Studienresultate, die belegen, dass es durchaus wichtige Unterschiede zwischen der Wahrnehmung in VR und in der echten Welt gibt, mahnt Grübel. So sind beispielsweise bei physischer Bewegung in virtueller Umgebung andere Gehirnareale aktiv als bei echter Bewegung. Es sei jedoch nicht klar, ob das ein Problem darstelle. «Vielleicht verarbeitet das Gehirn die echte Welt auf neuro­logischer Ebene anders, aber auf der kognitiven Entscheidungsebene ­sehen wir ähnliche Ergebnisse.»

Stimmen, Gerüche, Menschengedränge, Temperaturschwankungen, all diese Faktoren können zudem einen Einfluss haben, der sich nicht immer klar feststellen lässt, sagt Grübel. «Daten aus der realen Welt haben hier einen grossen Mehrwert und können aufzeigen, wo die Modelle zu stark vereinfachen.» Einen Teil davon werden künftige Technologien vielleicht abbilden können, die Technische Universität Delft etwa arbeitet an einem VR-Simulator, der Geruch und Temperatur nachahmen kann. Eine vollständige virtuelle Welt etwa könnte bei Probanden auch Panik auslösen. Man stelle sich nur mal ein Feuer im Sanaa-Gebäude vor, mit Rauch und Hitze. Da sind selbst im virtuellen Setting schnell ethische Grenzen erreicht.