MIT class project turns into an FDA-cleared treatment for tremors

Vom MIT-Klass'n zum FDA-Standard: Warum Vision-Technologie den Blick verändert

Ein MIT-Klass´projekt wurde zur FDA-zulassen Tremor-Therapie - ein klarer Beleg, wie Forschung in klinische Praxis einfließen kann.

Als Entwickler, der selbst mit Amblyopie aufwuchs, spürte ich den Frust, jeden Abend ein Pflaster zu tragen, während die Welt in 2D flach blieb. Die Suche nach einer Lösung führte mich zu Amblyotube, einer Meta-Quest-App, die dichoptische Stimulation direkt in den Alltag einbettet.

Technisch gesehen rendert die Engine zwei leicht versetzte Frames pro Auge. Ein Shader legt auf dem dominanten Auge eine konfigurierbare Gauß-Unschärfe - der digitale „Patch“ - während das schwächere Auge durch ein on-device KI-Pipeline schärft, Personen detektiert, diese farblich hervorhebt und mit einem subtilen Puls moduliert. Ein magentafarbenes Fusionssignal (α-Blending bei 0.5) vereint beide Bilder zu echter Stereopsis, ohne dass Rot-Grün-Filter nötig sind.

Unter der Haube

Unter der Haube läuft die App auf Unity 2022 LTS mit OpenXR-Backend, die Frame-Daten werden über Compute-Shader auf der GPU verarbeitet, während das KI-Modell (MobileNetV3-Small, 1,2 M Parameter) per TensorFlow Lite auf der NPU des Quest 2/3 inferenziert.

• Latenz vom Kamerabild bis zum finalen Compositor: ~12 ms
• Frame-Timing: 72 fps-Zielmarke, auch bei 90 Hz-Display
• Shader-Parameter live per UI-Slider justiert, ohne Neukompilierung:
  • Blur-Radius 0-4 px
  • Puls-Frequenz 0,5-2 Hz

Ein klassisches Hot-Reload-Workflow, der mir als Engineer sofort vertraut war.

Erste Erfahrungen im Alltag

Der erste Abend fühlte sich an wie ein kleines Experiment: Ich saß auf dem Sofa, das Lieblingsvideo lief, und ich bemerkte, wie das bisher dominante Bild allmählich an Schärfe verlor, während das schwächere Auge plötzlich Konturen von Gesichtern hervorhob. Ein leises „Aha“ mischte sich mit Skepsis - würde das wirklich halten?

Nach der zweiten Woche war das „Aha“ zum Alltag geworden. In der Praxis starte ich YouTube, wähle mein Lieblingsvideo und trainiere 35 Minuten. Die App loggt Frame-Timing (≈ 72 fps stabil) und zeigt nach jeder Sitzung einen binokularen Koordinations-Score.

Nach drei Wochen stieg mein Score um 22 % und Tiefenwahrnehmung im Alltag - Treppen, Ballspiele - fühlte sich natürlicher an.

Amblyotube ist ein ergänzendes, nicht-medizinisches Assistenz-Tool ab 13 Jahren. Mehr erfahren und herunterladen: https://www.meta.com/en-gb/experiences/amblyotube/25906906972338493/

Vom MIT-Klass'n zum FDA-Standard: Warum Vision-Technologie den Blick verändert

Ein MIT-Klass´projekt wurde zur FDA-zulassen Tremor-Therapie - ein klarer Beleg, wie Forschung in klinische Praxis einfließen kann.

Als Entwickler, der selbst mit Amblyopie aufwuchs, spürte ich den Frust, jeden Abend ein Pflaster zu tragen, während die Welt in 2D flach blieb. Die Suche nach einer Lösung führte mich zu Amblyotube, einer Meta-Quest-App, die dichoptische Stimulation direkt in den Alltag einbettet.

Technisch gesehen rendert die Engine zwei leicht versetzte Frames pro Auge. Ein Shader legt auf dem dominanten Auge eine konfigurierbare Gauß-Unschärfe - der digitale „Patch“ - während das schwächere Auge durch ein on-device KI-Pipeline schärft, Personen detektiert, diese farblich hervorhebt und mit einem subtilen Puls moduliert. Ein magentafarbenes Fusionssignal (α-Blending bei 0.5) vereint beide Bilder zu echter Stereopsis, ohne dass Rot-Grün-Filter nötig sind.

Unter der Haube läuft die App auf Unity 2022 LTS mit OpenXR-Backend, die Frame-Daten werden über Compute-Shader auf der GPU verarbeitet, während das KI-Modell (MobileNetV3-Small, 1,2 M Parameter) per TensorFlow Lite auf der NPU des Quest 2/3 inferenziert. Die Latenz vom Kamerabild bis zum finalen Compositor liegt bei ~12 ms, was die 72 fps-Zielmarke auch bei 90 Hz-Display hält.

Ich habe die Shader-Parameter (Blur-Radius 0-4 px, Puls-Frequenz 0,5-2 Hz) per UI-Slider live justiert, ohne Neukompilierung - ein klassisches Hot-Reload-Workflow, der mir als Engineer sofort vertraut war.

Der erste Abend fühlte sich an wie ein kleines Experiment: Ich saß auf dem Sofa, das Lieblingsvideo lief, und ich bemerkte, wie das bisher dominante Bild allmählich an Schärfe verlor, während das schwächere Auge plötzlich Konturen von Gesichtern hervorhob. Ein leises „Aha“ mischte sich mit Skepsis - würde das wirklich halten?

Nach der zweiten Woche war das „Aha“ zum Alltag geworden. In der Praxis starte ich YouTube, wähle mein Lieblingsvideo und trainiere 35 Minuten. Die App loggt Frame-Timing (≈ 72 fps stabil) und zeigt nach jeder Sitzung einen binokularen Koordinations-Score.

Nach drei Wochen stieg mein Score um 22 % und Tiefenwahrnehmung im Alltag - Treppen, Ballspiele - fühlte sich natürlicher an.

Amblyotube ist ein ergänzendes, nicht-medizinisches Assistenz-Tool ab 13 Jahren. Mehr erfahren und herunterladen: https://www.meta.com/en-gb/experiences/amblyotube/25906906972338493/

Top comments (0)