Der Beschleunigungsmesser zeichnet auf, wie stark die Taste vibriert. Das Wissen haben die Forschenden benutzt, um ein digitales Piano zum Schwingen zu bringen, als ob es ein richtiges Klavier wäre. | Bild: Stefano Papetti

Wer ein Instrument spielt, möchte vor allem eine Art der Rückmeldung: Es soll klingen. Jeder Klang ist eine Schwingung, die man nicht nur hört, sondern beim Spiel auch spürt. Haptisches Feedback nennen das die Experten.

Matthias Flückiger von der ETH Zürich versucht in seiner Doktorarbeit, das Feedback direkt an Musikinstrumenten zu messen. «Das Musikspiel ist ein komplexes Zusammenspiel verschiedener Sinne. Es läuft nur zum Teil über das Hören», sagt Flückiger. Dieses Zusammenspiel und die Bedeutung der einzelnen Faktoren möchte Flückiger besser verstehen – besonders das vibrotaktile Feedback. Er bestückt Instrumente mit einer Vielzahl hochempfindlicher Sensoren. Diese messen das Spiel des Musikers, seine Position, den Druck, seine Bewegung. Mit kleinen Elementen, die selber Schwingungen erzeugen, sogenannten Aktuatoren, wird die Reaktion des Instruments gesteuert. So kann Flückiger studieren, was passiert, wenn sich das Vibrationsverhalten des Instruments verändert.

Mit Schwingung spielen geht besser

Das interessiert auch Stefano Papetti von der Zürcher Hochschule der Künste (ZHdK). Er hat deshalb ein Digitalpiano mit Aktuatoren ausgestattet, um ihm einen virtuellen Resonanzkörper zu verpassen. Die Aktuatoren reproduzieren Schwingungen, die Papetti an einem akustischen Piano akribisch aufgezeichnet hat, Tastenanschlag für Tastenanschlag. Dann liess er darauf professionelle Musiker spielen, die nicht wussten, was an diesem Digitalpiano besonders war.

Anders als Flückiger fragte Papetti seine Versuchspersonen nach ihrem subjektiven Empfinden. Resultat: Die Musiker merkten einen positiven Effekt, den sie aber zunächst gar nicht benennen konnten. Sobald der Forscher den Profis zeigte, wie das Piano präpariert war, hatten einige die Erkenntnis: «Es war mir gar nicht bewusst, dass mein Instrument schwingt und ich das über die Berührung wahrnehme.» Papetti will diese Arbeit nun in Zusammenarbeit mit dem Integrated Actuators Laboratory (LAI) der ETH Lausanne weiterverfolgen.

Vom Schuh zum Instrument

Denn haptisches Feedback ist nicht nur im Zusammenhang mit Instrumenten relevant, sondern auch bei der Interaktion von Menschen und Geräten. Allerdings: «Wir leben in einer visuell geprägten Welt», stellt Stefano Papetti fest. Deshalb seien die meisten Interfaces für unsere Augen konzipiert. Dabei sei Berührung ein viel subtileres Mittel, um dem Nutzer Rückmeldungen zu geben. Er erwähnt das neuste Apple-Trackpad als Beispiel: Dieses gibt dem Nutzer die Illusion, die Oberfläche würde sich bei Druck vertiefen – und zwar bloss durch den Einsatz von Vibrationen im richtigen Moment.

Schon in einer früheren Arbeit wollten Papetti und sein Team an der ZHdK herausfinden, welche Rolle haptischem Feedback beim Lernen und Spielen eines Instruments zukommt. Dazu haben sie ein Gerät gebaut, das misst, welche Schwingungen ein Mensch überhaupt wahrzunehmen vermag. Der Softwareingenieur – selber ein «vernünftiger» Keyboard-Spieler – konnte dabei an frühere Forschung anknüpfen. Er war Teil des grossen EU-Forschungsprojekts Natural Interactive Walking, das Informationen nicht über die üblichen Sinne zu vermitteln versuchte, sondern über die Füsse. Papetti hat Schuhe mitentwickelt, die mit kleinen Vibratoren versehen waren und beim Gehen verschiedene Bodenqualitäten zu simulieren vermochten.

Angewendet auf die Musik ergab der Forschungsansatz Resultate, die die bisherigen Meinungen in Frage stellen. Mit der Haptic-Feedback-Apparatur, einem unscheinbaren Kästchen mit einer Auflagefläche für die Finger, hat Papetti Reiz-Schwellenwerte für vibrotaktiles Feedback ermittelt, die um eine Grössenordnung tiefer liegen als in der Literatur beschrieben. Offenbar kann der Mensch viel subtilere Schwingungen wahrnehmen als bisher angenommen. Das könne bei künftigen Anwendungen von grosser Bedeutung sein, sagt Papetti: Weil der Mensch mit viel feineren Impulsen auskommt, können Berührungs-Interfaces also weniger kraftvoll gebaut werden.

«Berührung ist nun mal die intimste Form der Interaktion», sagt Papetti. Es wäre doch schade, wenn wir sie nicht zumindest ein bisschen auch den Maschinen beibringen könnten.

Roland Fischer ist freier Wissenschaftsjournalist in Bern.

S. Papetti et al.: Vibrotactile Sensitivity in Active Touch: Effect of Pressing Force. IEEE Transactions on Haptics (2017)