Stellen Sie sich vor, Sie betreten einen Raum, und in Echtzeit – ohne jegliche Verzögerung – entsteht auf einem Computer ein originalgetreues Abbild Ihrer Person. Ihre Position im Raum und jede Bewegung, die Sie machen, wird von mehreren Seiten erfasst und in einer Art dreidimensionalem Film gespeichert, den Sie sich beliebig oft anschauen können – beispielsweise um Ihr eigenes Verhalten im Rahmen eines Trainings zu analysieren.

Genau einen solchen Raum gibt es seit kurzem an der Universität Konstanz, genauer gesagt im GameLab der Universität. Hier hat Benjamin Schäfer, der Manager des GameLab, gerade ein modernes 3D-Setup aufgebaut, in dem bis zu zehn spezielle 3D-Kameras die Mitte des Raumes aus unterschiedlichen Perspektiven erfassen. Ein leistungsstarker Computer bündelt und synchronisiert die Informationen aus den Kameras und erzeugt daraus die anfangs beschriebene 3D-Rekonstruktion des Raumes bzw. des Volumens und der sich darin bewegenden Personen. 

Für mehr Informationen zu den Kameras klicken Sie bitte auf das (+)

Nicht wie im Kino, sondern wirklich 3D
Der Clou bei der Methode, im Vergleich zu gewöhnlichen Videoaufzeichnungen oder 3D-Filmen, wie sie viele vielleicht aus dem Kino kennen, ist folgender: Wo eine normale Filmaufnahme dem Beobachter eine feste Perspektive vorgibt, aus der das Geschehen betrachtet werden muss, ist diese in den volumetrischen 3D-Aufnahmen des GameLab vollständig frei wählbar.

Dafür werden die Daten von den 3D-Kameras kurzerhand in eine Game-Engine geladen, also eine Software, die maßgeblich zur Spieleentwicklung genutzt wird. Dank der Game-Engine kann sich die betrachtende Person anschließend am Computer durch einen digital konstruierten Raum bewegen und so die hologrammartigen Aufnahmen von allen Seiten betrachten. Für eine intensivere Auseinandersetzung mit der Aufnahme lässt diese sich mit wenigen Anpassungen sogar mittels VR-Headset begehen. Mehr noch:

„Die Game-Engine erlaubt uns, die Aufnahme auf Wunsch in einer beliebigen virtuellen Umgebung abzuspielen, oder mehrere Aufnahmen zur Analyse nebeneinander zu stellen. In der Postproduktion innerhalb der Game-Engine testen wir gerade die Anonymisierungsmöglichkeiten.“

Benjamin Schäfer, Manager des GameLab

Next-Level LehrerInnenausbildung
Ideen für die Nutzung des volumetrischen Aufnahmesystems in Lehre und Forschung gibt es natürlich bereits. So startete unter der Leitung von Stefanie Findeisen vom Fachbereich Wirtschaftswissenschaften im April 2024 ein ganz konkretes Pilotprojekt aus dem Bereich der Wirtschaftspädagogik, in dem es um die Ausbildung von LehrerInnen geht. Die ersten Lehrveranstaltungen innerhalb des Projekts beginnen im Oktober 2024.

Für das Projekt werden Lehramtsstudierende der Universität Göttingen und der Universität Konstanz im GameLab zusammenkommen, um Unterrichtssituationen nachzustellen. Dabei wird jeweils eine Person aus der Gruppe die Rolle der Lehrkraft übernehmen, während die anderen Studierenden die SchülerInnen simulieren. In der Unterrichtssituation wird die Lehrkraft dabei dreidimensional und die SchülerInnen per Videokamera audiovisuell aufgezeichnet. Anschließend  wird die Situation in der Gruppe besprochen und reflektiert. In der Ausbildung von LehrerInnen sind klassische Videoaufzeichnungen von Unterrichtssituationen ein übliches Instrument und werden z. B. zur Unterrichtsnachbesprechung und Selbstreflektion angefertigt.

Entscheiden, wer man sein möchte
„Die klassische Videoaufzeichnung ist eine extrem reduzierte Abbildung der Wirklichkeit. Die Entscheidung, welcher Aspekt genau erfasst werden soll, muss daher immer im Vorfeld gefällt werden“, erklärt Schäfer. Interessieren Mimik und Gestik der Lehrperson mehr als die der SchülerInnen? Dann muss die Kamera entsprechend frontal auf die Lehrperson gerichtet werden. Interessieren dagegen primär die Reaktionen der SchülerInnen auf den Unterricht, muss die Kamera genau andersherum stehen. In beiden Fällen geht ein Großteil an Information über die Interaktion zwischen SchülerInnen und Lehrperson verloren.

© GameLab, Universität Konstanz

Eine Person steht erklärend vor einem Whiteboard. In dieser Momentaufnahme ist die Szene als dreidimensionale Punktewolke (engl.: point cloud) dargestellt.

Die Vorteile einer 3D-Aufzeichnung mit frei wählbarer Perspektive liegen also auf der Hand: Möchte eine Lehrperson ihr eigenes Verhalten im Klassenraum analysieren und reflektieren, kann sie frei wählen, wie sie die Situation betrachtet. „Sie kann erneut die eigene Perspektive einnehmen, um die Reaktion der SchülerInnen im Blick zu haben. Wenn sie möchte, kann sie aber genauso gut sich selbst aus verschiedenen Winkeln betrachten – um die eigene Körperhaltung und -sprache zu analysieren – oder sogar die Perspektive der SchülerInnen einnehmen“, gibt Schäfer einige Beispiele. Es bleibt also viel mehr Information erhalten und es bestehen Freiräume, den Fokus einer Fragestellung noch einmal zu verschieben oder sogar gänzlich zu ändern.

Ein Testballon mit unzähligen Möglichkeiten
„Wir blicken gespannt auf diese Pilotstudie, denn selbst wir können noch nicht alle Möglichkeiten, die uns das Setup bieten wird, absehen“, sagt Benjamin Schäfer. „Zunächst werden uns die Aufnahmen vor allem viel mehr Informationen über die gefilmte Situation liefern als herkömmliche Aufnahmeverfahren. Wir werden also herausfinden müssen, welche dieser Informationen wirklich nützlich für unsere Fragestellungen sind.“ Denn: Mehr Informationen bedeuten unweigerlich auch mehr Analyseaufwand.

Und doch gibt es bereits viele weitere Ideen für Projekte, die im 3D-Aufnahmesystem des GameLab stattfinden könnten – zum Beispiel die Analyse sozialer Interaktionen beim Spielen. „Im GameLab interessieren wir uns besonders für Spiele und Spielsituationen. Wir glauben, dass das Setup sehr gut geeignet ist, um zwischenmenschliche Interaktionen während des Spielens zu untersuchen“, berichtet Schäfer. Ähnlich wie beim Lesen eines guten Buches blenden Spielende ihre Umgebung schnell aus, sobald ein Spiel im vollen Gange ist. Sie „vergessen“ also, dass sie sich in dem 3D-Aufnahmestudio sozusagen unter Beobachtung befinden. Die eher ungewöhnliche Umgebung des Studios sollte die Spielenden also kaum in ihrem Verhalten und ihren Interaktionen beeinflussen.

An unterschiedliche Situationen anpassbar
Damit die 3D-Aufnahmen reibungslos funktionieren und sich aus den Informationen der unterschiedlichen Kameras ein großes Ganzes ergibt, muss das Setup vor der Benutzung aufwendig kalibriert werden. Und trotzdem ist es nicht so gedacht, dass der Aufbau nun dauerhaft in seiner derzeitigen, kalibrierten Form genutzt werden muss. Im Gegenteil: Eine flexible Nutzung des Studios wurde von Anfang an mitgedacht. So ist die Studiodecke beispielsweise mit einem System aus Traversen versehen, entlang derer sich die Position der Kameras an der Decke relativ frei verschieben lässt. Sogenannte Doppelscheren aus der Filmtechnik sorgen anschließend dafür, dass die Kameras auch in der Höhe beliebig platziert werden können.

© GameLab, Universität Konstanz

Zur Kalibrierung der Kameras werden Marker im Raum platziert (links). Im rechten Bild sind die Marker in der 3D-Ansicht zu sehen. Während der Kalibrierung setzt die Software die Kamerabilder zueinander in Relation, um ein räumliches Gesamtbild zu erstellen.

Das System aus Traversen und Aufhängungen wurde von den Wissenschaftlichen Werkstätten der Universität Konstanz an die Bedürfnisse des GameLab angepasst. „Auch wenn wir beispielsweise die Kameraaufhängungen käuflich erwerben konnten, sind diese natürlich ursprünglich für die Anwendung in Film- und Fernsehstudios gedacht – also unter ganz anderen Bedingungen, als sie bei uns im GameLab herrschen. Wir sind daher sehr dankbar für die Unterstützung der Wissenschaftlichen Werkstätten, die uns dabei geholfen haben, unser Aufnahmestudio in den Räumen des GameLab zu verwirklichen“, so Schäfer.

Für alle Fachrichtungen nutzbar
Auch wenn das Problem der Kameraplatzierung- und -aufhängung trivial klingen mag, ist dies gerade bei der Anfertigung von 3D-Aufnahmen mit mehreren Kameras ein entscheidender Faktor für das Gelingen der Aufnahme. Dank der Flexibilität, die das System aus Traversen und Aufhängungen bietet, kann das dreidimensionale Aufnahmestudio also an ganz unterschiedliche Beobachtungssituationen angepasst werden. Und das ist so gewollt, denn als Core Facility der Universität Konstanz stehen das GameLab und seine Ausstattung sowohl internen als auch externen NutzerInnen aller Fachrichtungen für Forschungszwecke zur Verfügung.

„Unser technisches Equipment wird durchgängig gewartet und erweitert, und Forschende bekommen von uns bei der Umsetzung ihrer Versuchsvorhaben technischen Support. Dadurch spielt es dann auch keine Rolle, ob sich die jeweilige Forschungsfrage um eine Gruppe aus Studierenden dreht, die eine Situation aus dem Klassenzimmer nachstellt, oder um eine Gruppe aus Menschen, die sich gesellig um einen Tisch versammelt, um gemeinsam ein Spiel zu spielen“, sagt Schäfer.
 

Kontakt:
GameLab Koordinationsteam (Fach 157)
Universitätsstraße 10
78457 Konstanz

Tel.: 07531 / 88 - 5643
E-Mail: gamelab@uni-konstanz.de