Webcam Renderer

Kamera-Streams anzeigen

EGui

Eine Gui Libary vergleichbar mit Imgui.

OctaForce

Rendering Engine Steuert

• Event Loop
• Vulkan Rendering
• Egui Rendering
• Key Input
• FPS

Ash

Wrapper für Vulkan API.

3D Objekte Renderer

3D Modelle anzeigen

Camera Controller

Kamera-Streams kontrollieren

Screen Controller

Interface und Screens steuern

Action Controller

Verarbeitet Gesten Daten. Nutzt eins der beiden Gesten-Systeme

Bilder Renderer

Bilder anzeigen

Beamer

Zeigt GUI Fenster an

Rust

Python

C++

MediaPipe Gesten-Erkennung

1. Mediapipe erzeugt Landmarks
2. Landmarks in Features zusammen fügen
3. Wahrscheinlichkeit für Geste errechnen

Gesten API

Erzeugt einen FastAPI Server

MediaPipe Hands

Ein Handerkeunngs KI-Model von Google

Selbst trainierte KI

Eine aus eingenen Trainings Daten selbst trainirte KI zu erkennung der Gesten

Kinnect

RGB und Tiefen Kamera

• RGB 4k Bilder
• HD Tiefen Bilder
• 30 FPS