Das kollektive Verhalten von Tiergruppen ist immer noch voller offener Fragen, aber die jüngsten Fortschritte im Bereich des maschinellen Lernens und der Computer Vision revolutionieren die Möglichkeiten, es zu ergründen. Komplexe Verhaltensweisen, wie soziales Lernen oder kollektive Wachsamkeit, können mit neuen Techniken entschlüsselt werden. Einem interdisziplinären Forschungsteam des Exzellenzclusters Centre for the Advanced Study of Collective Behaviour (CASCB) der Universität Konstanz und des Max-Planck-Instituts für Verhaltensbiologie ist es nun gelungen, eine neuartige markerlose Methode zu entwickeln. Sie funktioniert rein aus Videoaufnahmen, die Anbringung von Positions- und Bewegungssendern bzw. -markern an den Tieren ist in Zukunft nicht mehr nötig. Mit dem neuen Datensatz kann die Körperhaltung von Tauben durch automatisierte Bilderkennung in 3D erforscht werden. Aufnahmen von mindestens zwei Kameras sind notwendig, um die Blickrichtung und feinskalierte Verhaltensweisen von jedem einzelnen Vogel identifizieren zu können. Zudem lässt sich nachvollziehen, wie sich das Tier innerhalb der Gruppe verhält.

https://www.youtube.com/watch?v=uGMsJ0qQZrA

Forschung zum Verständnis des Tierverhaltens in 3D vorantreiben

3D-POP steht für 3D-Posture of Pigeons (3D-Haltung von Tauben) und ist ein großangelegter Datensatz, der genaue Informationen über die 3D-Position, wie beispielsweise die Haltung von Schnabel oder Augen, und die Identität von frei beweglichen Tauben enthält. „3D-POP ist ein Datensatz, der der Forschungsgemeinschaft helfen wird, automatische Methoden zur Extraktion von Position und Körperhaltung mit Hilfe von maschinellem Lernen und künstlicher Intelligenz zu entwickeln“, sagt Alex Chan, Doktorand am Exzellenzcluster CASCB. „Unter Verwendung des Datensatzes brauchen Forschende nur zwei Kameras, um das kollektive Verhalten von Tauben zu untersuchen – und das sogar in freier Wildbahn."

Wie der Datensatz entwickelt wurde

Der 3D-POP-Datensatz wurde mit einem Motion-Capture-System und einer Gruppe von rund zehn Tauben entwickelt. Lediglich für die Entwicklung des Datensatzes war es notwendig, dass die Tauben winzige reflektierende Marker trugen. Diese hatten jeweils eine einzigartige geometrische Form, um die Identität jedes Vogels individuell feststellen zu können. „Bewegungserfassungskameras berechnen die 3D-Positionen der reflektierenden Marker mit einer Genauigkeit im Submillimeterbereich“, erklärt Alex Chan. Die 3D-Daten des Motion-Capture-Systems werden auf Videobilder abgebildet, um die Position des Vogels und Merkmale wie Augen, Nase oder Schwanz zu markieren.

https://www.youtube.com/watch?v=PnHNTSWVeb8

„Die Auswertung des Verhaltens, auch Annotation genannt, wird bisher meist manuell vorgenommen. Wir haben versucht, dieses Problem zu lösen, indem wir automatisiert Anmerkungen erstellen lassen“, erläutert Computerwissenschaftler Hemal Naik. „Bei groß angelegten Verhaltensbeobachtungen nutzen KI-Systeme Bewegungen und Informationen über Körperhaltung, um Verhaltensmerkmale wie Aggressionen, unterwürfiges Verhalten oder Balzverhalten automatisch zu klassifizieren.“ Die Forschungsgemeinschaft benötigt dafür jedoch Datensätze, um die Technologie zur Erkennung zu entwickeln. „Hier hilft unsere Methode, denn wir können mit wenigen Klicks Millionen von Annotationen erstellen“, sagt Naik.
 

3D-POP bringt Biologie und Informatik zusammen

Innerhalb des Exzellenzclusters CASCB ist die interdisziplinäre Zusammenarbeit sehr gefragt. Deshalb kamen Forscher aus beiden Bereichen zusammen und tauschten ihre spezifischen Bedarfe aus.

© Elisabeth Böker

„Mit 3D-POP haben wir eine Kluft zwischen Biologie und Informatik überbrückt, denn InformatikerInnen haben in der Regel keinen Zugang zu Tieren, um solche Datensätze zu erstellen, und BiologInnen wissen selten, welche Art von Daten ComputerwissenschaftlerInnen benötigen, um die Entwicklung neuer Methoden voranzutreiben."

Alex Chan, Biologe mit einem großen Interesse an Informatik

Der Datensatz wurde auf der Conference on Computer Vision and Pattern Recognition (CVPR) im Juni 2023 veröffentlicht und per Open Access frei zugänglich gemacht, damit er von anderen Forschenden weiterverwendet werden kann. Naik und Chan sehen zwei potenzielle Anwendungsbereiche: WissenschaftlerInnen, die mit Tauben arbeiten, können den Datensatz direkt nutzen und das Verhalten mehrerer frei beweglicher Tauben untersuchen. Die von dem Forschungsteam rund um Chan und Naik entwickelte Annotationsmethode kann zudem bei anderen Vögeln oder gar anderen Tieren eingesetzt werden, so dass Forschende mit Hilfe von 3D-POP bald auch das Verhalten weiterer Tiere entschlüsseln können.