Virtual reality in the service of psychology

In der aktuellen Ausgabe des Forschungsmagazins „Forschung Frankfurt“ berichtet die Journalistin Jessica Klapp über ihren virtuellen Ausflug nach Italien und erklärt, warum wir die Milch nicht unter dem Bett suchen oder das Kissen in der Badewanne.

„Wenn wir einen bestimmten Gegenstand in einer Szene suchen, scheinen wir genaue Vorstellungen darüber entwickelt zu haben, welche Objekte wir wo suchen und finden müssen“, erklärt Melissa Võ. Bei der Erforschung dieser natürlichen Szenen interessiert sie insbesondere, wie wir unsere Umgebung wahrnehmen. Welche Gegebenheiten fallen uns besonders auf? Und an was würden wir uns später erinnern? Um das herauszufinden, setzt die Psychologin in ihrem Labor neben Hirnpotenzialmessungen auch Eye-Tracking und Virtual Reality Szenen ein.

Augenbewegungen werden erfasst„Mit Eye-Tracking messen wir, welche Teile eines Bildes vom Betrachter als interessant oder wichtig befunden werden, wie schnell der Blick auf bestimmte Objekte in Szenen fällt und wie lange der Blick dort verweilt“, erklärt Dr. Dejan Draschkow. Wegen der engen Beziehung von Augenbewegung und kognitiven Prozessen ist das Eye-Tracking von grosser Bedeutung. Mit dem mobilen System können sich die Versuchspersonen im Raum bewegen, Gegenstände suchen und mit ihnen interagieren.

Simulated environments

With the virtual reality headset, a virtual 3D world is simulated via the computer through which the test person moves. With simulated environments such as an Italian piazza, in the middle of which unexpected brown boxes float, the researchers test whether the results they determine on two-dimensional screens also apply in a realistic, three-dimensional environment. They want to understand laws that help people construct their environment and interact with the objects in it.

Die Erforschung von Szenenwissen im Kindesalter ist eines der Felder, mit denen sich die Arbeitsgruppe sehr intensiv auseinandersetzt. Ziel des Projekts SCESAM, ist es, eventuelle kognitive Defizite wie eine Lese-Rechtschreib-Schwäche frühzeitig zu erkennen und zu behandeln. Mit einem mobilen Forschungslabor finden die Studien direkt vor der KiTa statt: Die Forscher zeigen den Kindern „ungrammatische“ Bilder, auf denen etwa ein Schuh anstelle eines Topfes auf dem Herd steht, und beobachten die Reaktionen mithilfe einer Eye-Tracking-Kamera. Verhält sich eines unter vielen Kindern anders, interessiert sie, ob ein Zusammenhang zur sprachlichen Entwicklung und dem Aufmerksamkeitsverhalten besteht.

Research into scene knowledge helps in many areas

Areas such as medicine also benefit from the results. For example, the researchers measured the eye movements of radiologists when viewing X-ray images and investigated which strategies they use to detect tumours and with what success these strategies are associated. The research results are equally important for hand luggage security checks at airports. How do employees decide which pieces of luggage need to be checked more closely? Why was a dangerous item not found? Was the screener not looking at that area? Or did he look at it but not consider that part important?

Schliesslich könnten auch Menschen mit Demenz von der Erforschung des Szenenwissens profitieren. Denn Võ und ihre Mitarbeiter haben herausgefunden, dass die Gedächtnisleistung für Bilder in einer Szene zunimmt, wenn die Probanden zuvor einzelne Objekte gesucht und gefunden haben. Bei einem überraschenden Gedächtnistest schnitten sie deutlich besser ab als Personen, die sich explizit Objekte merken sollten. „Dies bedeutet für uns, dass bei der visuellen Suche eine starke Auseinandersetzung mit der Szene stattfindet und sich Objekte besser einprägen“, erklärt die Psychologin.

Source: Win-Verlag / Johann Wolfgang Goethe University Frankfurt