Augmented Reality (AR) bezeichnet Technologie, die die reale Welt mit virtuellen Inhalten verschmelzen lässt, wodurch oftmals neue Formen von interaktiven Erfahrungen entstehen, die die physische Umgebung auf besondere Weise erlebbar machen. Diese Technologie hat sich in den letzten Jahren rasant weiterentwickelt und findet in vielen Bereichen bereits weite Anwendung, darunter insbesondere in der Medizin, im Bildungswesen sowie in der Unterhaltungsbranche.

Auch wir bei onexip beschäftigen uns seit Jahren intensiv mit der praktischen Umsetzung verschiedener AR-Technologien. Nachdem wir diese inzwischen fast schon im Schlaf beherrschen, haben wir uns kürzlich gefragt: ‚Was wäre möglich, wenn wir die Hände als Interaktionsmedium nutzen würden?‘

Um die Genauigkeit sowie Stabilität des Handtracking mittels Mediapipe zu testen, haben wir kurzerhand einen kleinen Showcase erstellt! Das Ergebnis? – Ein unterhaltsames sowie praxisnahes Beispiel für die Möglichkeiten im Bereich des Trackings!

Das Beste daran: Es funktioniert nicht nur, es ist schlichtweg magisch! 😉

Die Technik hinter der Magie

Unser Showcase basiert auf der Verwendung von Mediapipe Web für das präzise Hand-Tracking. Dadurch wird es möglich, die Bewegungen der Hände in Echtzeit zu erfassen und darauf zu reagieren. In Kombination mit Three.js haben wir zusätzlich ein Partikelsystem integriert, das es uns ermöglicht, mit geringem Aufwand funkelnde Effekte – wie Glitzer oder andere Elemente – an den Händen des Nutzers darstellen zu lassen. Darüber hinaus sorgt die Umsetzung als Angular-Web-Component dafür, dass unser Projekt problemlos in jede beliebige HTML (bspw. in WIX, WordPress, andere Angular-Anwendungen) integriert werden kann.

Damit Video, Handtracking und Partikeleffekte richtig zueinander ausgerichtet und aufeinander abgestimmt sind, schichten wir mehrere Ansichten und richten dabei die verschiedenen Koordinatensysteme präzise aufeinander aus. Dies ermöglicht uns, eine nahtlose Integration der unterschiedlichen Elemente zu gewährleisten sowie eine harmonische Nutzererfahrung zu schaffen, bei der die visuellen und interaktiven Komponenten perfekt miteinander synchronisiert sind.

Hands-On erleben

Unser Showcase ist nicht nur eine Demonstration unserer technischen Fähigkeiten, sondern auch ein interaktives Erlebnis, das die Möglichkeiten der AR aufzeigt. Was heute nur kleine glitzernde Partikel sind, hält morgen bereits weitere ungeahnte Möglichkeiten und Einsatzgebiete bereit.

Neugierig geworden? Probiere unseren Handtracker doch selbst aus: Hier gehts zur HandTrackAR.

Wir freuen uns darauf, weiterhin zu zeigen, was im Bereich AR möglich ist – und darauf, auch Dein AR-Projekt Wirklichkeit werden zu lassen!