Wir sind PerSiVal (die Abkürzung steht für: Pervasive Simulation und Visualisierung), drei edle Ritter, die mithilfe von Augmented Reality (AR) farbenfrohe Darstellungen aus der virtuellen Welt in die reale Welt um dich herum bringen.

Damit du verstehst, was wir meinen, wirf doch mal einen Blick in unseren Magischen Spiegel. Das erklärt dir das Prinzip vereinfacht ziemlich gut.

Wenn Computer deine Bewegungen verstehen

Wir benutzen Computerprogramme, um zuerst deinen Körper und deine Bewegungen durch eine Kamera zu erkennen. Dabei beschäftigen wir uns vor allem mit deinen Armen. Sei es, dass du winkst, mit den Armen kreist oder wie ein Bodybuilder posierst. Mit etwas Nachdenken zeigt dir der Computer, wie deine Muskeln während dieser Bewegungen aussehen. Zu diesem Zweck haben wir unserem Programm zunächst einiges an Wissen über menschliche Muskeln aus der sogenannten „Biomechanik“ beigebracht.

Programm-Power: Wie wir Muskeln zum Tanzen bringen!

Dann haben wir dem Progamm einige Tricks und Kniffe gezeigt, um auch auf kleinen Geräten arbeiten zu können, z. B., indem es mehrere Geräte und Computer gleichzeitig nutzt. Man nennt das „verteilte Systeme“.

Zu guter Letzt haben wir ihm beigebracht, wie es deine Muskeln auf dem Bildschirm so anzeigt, dass sie auf den Kameraaufnahmen an der richtigen Stelle an deinem Arm auftauchen. Das ist, was oben mit „Augmented Reality“ gemeint ist: virtuelle Elemente, die sich scheinbar in die reale Welt einpassen.

Das Ziel der „Pervasiven Simulation“ ist es, Menschen die Nutzung von Simulationstechnologie in ihrem privaten und beruflichen Leben jederzeit und überall zu ermöglichen. Mobile Geräte wie Tablets oder auch Mixed-Reality-Headsets ermöglichen es den Nutzer*innen, mit Simulationen in Echtzeit zu interagieren.

Die Visualisierung von Simulationsergebnissen in ausreichender Geschwindigkeit – Stichwort „Echtzeit“ – und mit den nötigen Algorithmen, um das System unmittelbar auf den Nutzer reagieren zu lassen, öffnet Tür und Tor für viele neue Anwendungen.

So befasst sich ein Bereich unseres Projektnetzwerkes, „PerSiVal“, mit der Visualisierung komplexer biomechanischer Simulationen direkt auf dem menschlichen Körper. Dies geschieht also in Augmented Reality (AR).

Neuronale Netze und Echtzeit-Simulationen für faszinierende Visualisierungen

Hierbei werden komplexe neuronale Netz verwendet, deren Auswertung hochgradig optimiert ist, um für Geräte mit begrenzten Leistungskapazitäten eine ausreichend leichtgewichtige Anwendung zu gewährleisten. Die Daten, die diese Netze gelernt haben, stammen allerdings aus einer Simulation die nur auf einem Hochleistungscomputer gerechnet werden kann.

Die aus den neuronalen Netzen erhaltenen Simulationsergebnisse werden gerendert und in Echtzeit, also mindestens mit 30 Bildern pro Sekunde, passend auf dem menschlichen Körper abgebildet.

Anpassungsfähige Simulationssysteme für vielfältige Computerplattformen

Mit der zunehmenden Vielfalt an Computerplattformen, die von mobilen Geräten über Cloud-Computing bis hin zu Hochleistungsrechnern reichen, müssen alltagstaugliche Simulationssysteme in einer sehr heterogenen Kommunikations- und Berechnungsinfrastruktur ausgeführt werden können.

Der Fachbereich „verteilte Systeme“ setzt sich genau hiermit auseinander und ist neben der biomechanischen Simulation und der Mensch-Maschine-Interaktion: einer der drei Grundpfeiler dieses Projekts.

Über den aktuellen Stand des Projekts hinaus sollen Daten von physiologischen Sensoren in tragbaren Geräten wie Smartwatches oder anderen Quellen einbezogen werden. Dadurch wird eine noch komplexere interaktive Echtzeit-Visualisierung unterstützt.

Vielfältige Disziplinen, komplexe Anforderungen

Aufgrund des „Human-in-the-Loop“-Charakters und der nahtlosen Unterstützung der Benutzermobilität stellt die pervasive Simulation einzigartige Anforderungen, die noch weit über den Stand der Technik hinausgehen.

Das Projektnetzwerk Adaptive Simulation und Interaktion hat sich in verschiedenen Disziplinen engagiert, darunter Biomechanik, Quantenberechnungen, menschliche Wahrnehmung, Strukturmechanik, naturalistische Gehirnaktivität und chemische Molekülkonstruktionen.

Unser Ziel ist es, leistungsfähige Modelle und Algorithmen zu schaffen, die eine einfache Anpassung komplexer Simulationen für genau solche Systeme ermöglichen. Wir entwickeln hierbei Methoden für die automatische Verteilung auf unterschiedlichste Hardware, Ansätze im Bereich der Modellreduktion und -beschleunigung sowie der Visualisierung in Virtual und Augmented Reality.