NNVRIK - Neuronale Netzwerke für den menschlichen Oberkörper in der virtuellen Realität

Gegenwärtige Endgeräte für Virtual Reality bieten eine Positionsverfolgung für Kopf und Hände des Benutzers. Mithilfe dieser Informationen können dem Benutzer virtuelle Hände angezeigt werden und diese für die Interaktion in der virtuellen Umgebung verwendet werden. Andere Körperteile sind jedoch normalerweise für den Benutzer nicht sichtbar, da keine Tracking-Information verfügbar ist. Darüber hinaus sind Tracking-Informationen möglicherweise ungenau oder vorübergehend nicht verfügbar. In diesem Projekt wollen wir die Lücke zwischen solchen unvollständigen Tracking-Daten und Ganzkörpertracking schließen. Unser Ziel ist eine Kombination aus datengesteuerten (neuronalen Netzwerk-basierten) und inversen Kinematik-Solvern zur Schätzung gemeinsamer Daten für die (Oberkörper-) Pose des Benutzers. Unsere bisherige Arbeit zeigt, dass, auch wenn die Pose nicht korrekt ist, Arme, die durch inverse Kinematik animiert werden, gegenüber bloßen Händen bevorzugt werden und dass sie auch für die Interaktion verwendet werden können. Mit neuronalen Netzwerken und ausreichenden Bewegungserfassungsdaten erwarten wir, die Genauigkeit noch weiter zu erhöhen und somit auch das Gefühl der Verkörperung zu erhöhen.