Das Steuern von komplexer 3D-CAD-Software erfordert ständiges Umschalten zwischen Tastaturkürzeln, 2D-Mäusen und 3D-Controllern. Unser System löst das Problem: Ein kabelloses Unterarmband erfasst Oberflächen-Elektromyographie-Signale (sEMG) der Muskeln, wertet sie lokal auf einem ESP32-S3 per künstlichem neuronalen Netz aus und übersetzt Handgesten in Echtzeit in CAD-Befehle.
Testen Sie das EMG-Armband live im Browser. Wählen Sie links verschiedene Gesten aus. Auf dem oberen Bildschirm sehen Sie die simulierten rohen Biosignale (Muskelspannung über Zeit). Auf dem unteren Bildschirm sehen Sie die Reaktion im CAD-Viewport (3D-Drahtgittermodell).
Wie das System hinter den Kulissen funktioniert. Das Zusammenspiel aus rauschfreier Analogtechnik und ressourcensparenden Edge-ML Algorithmen.
Acht vergoldete Trockenelektroden umgreifen den Unterarm. Ein medizinischer Analog-Front-End Wandler (ADS1298) digitalisiert die minimalen Mikrovolt-Spannungen der Muskelkontraktionen mit einer Abtastrate von 1000 Hz pro Kanal.
Unser Convolutional Neural Network (CNN) wurde in PyTorch trainiert und über TensorFlow Lite Micro für den ESP32-S3 Mikrocontroller optimiert. Es klassifiziert 6 Gesten mit einer Latenz von unter 15 Millisekunden direkt auf dem Gerät.
Das Armband verhält sich über Bluetooth LE wahlweise als standardisiertes Human Interface Device (HID) oder sendet über einen Websocket direkte Steuerungsdaten an ein SolidWorks/Fusion360 Plugin, das die 3D-Kamera steuert.