CoVision
Ein KI-basiertes Klassifikationssystem von COVID-Schnelltests für sehbehinderte und blinde Menschen
Hintergrund
Schnelltests bleiben ein wichtiges Schutzinstrument – doch viele sehbehinderte und blinde Menschen können Testergebnisse nicht selbst ablesen und sind auf Fremdhilfe angewiesen. Das kostet Privatsphäre, ist umständlich und kann die regelmäßige Nutzung verhindern. Dank verbesserter Barrierefreiheit auf Smartphones (z. B. VoiceOver) und moderner Computer-Vision-Verfahren lässt sich das ändern: Fotos des Tests werden automatisch ausgewertet und das Ergebnis akustisch oder per Screenreader ausgegeben. MI4People entwickelt genau dafür eine leicht nutzbare, datenschutzfreundliche Lösung, die Selbstständigkeit und Sicherheit für sehbehinderte Nutzer*innen erhöht.
Motiviert durch die ursprüngliche Idee von Dr. Stefanie Lämmle vom InnovationLab der Stadt München und Diskussionen mit Steffen Erzgraber vom Bayerischen Blinden- und Sehbehindertenbund hat eine Gruppe von Studenten einen ersten funktionierenden Prototyp dieser Anwendung namens CoVision erstellt. Das Team bestehend aus Simon Farshid, Raphael Feigl, Brigitta Jesica Kartono und Lennart Maack hat den Prototypen innerhalb von 48 Stunden während des TUM.ai Makeathons erstellt und den ersten Preis bei diesem Event gewonnen!
Der aktuelle Prototyp zeigt, dass eine solche Anwendung machbar ist, aber sowohl in Bezug auf Genauigkeit als auch Benutzerfreundlichkeit verbessert werden muss, um blinden Menschen den größtmöglichen Nutzen zu bieten. Solche Verbesserungen erfordern sowohl zusätzliche Ressourcen und Zeit für die Forschung als auch den Zugang zu weiteren Talenten im Bereich Machine Intelligence (MI). Daher entschied sich das CoVision-Team, sich MI4People anzuschließen und seine angewandte Forschungsarbeit zu diesem Thema als Projekt innerhalb von MI4People fortzusetzen!
Erwartete Auswirkungen
Dieses System wird es Blinden und Sehbehinderten ermöglichen, schnelle Antigen-CoVid-Tests selbst durchzuführen. Es wird den Komfort und die Privatsphäre für diese Personengruppe erhöhen und die Tests zugänglicher machen. Insgesamt wird erwartet, dass die App dazu beitragen wird, die Gesundheit von Blinden und Sehbehinderten zu schützen und sie besser in die Maßnahmen gegen die Pandemie einzubinden.
Projektphasen von April 2025 bis Anfang 2026
Phase 1
Phase 2
Phase 3
Forschung und Proof-of-Concept:
Da der aktuelle Prototyp mit nur wenigen Beispielen von COVID-Schnelltests erstellt wurde, ist das derzeit verwendete Computer-Vision-Modell noch nicht stabil genug. Diese Phase ist der Sammlung eines größeren Datensatzes gewidmet, der zum erneuten Trainieren und Verbessern des KI-Modells verwendet wird. In dieser Phase werden wir auch mit dem Bayerischen Blinden- und Sehbehindertenbund zusammenarbeiten, um zu erforschen, wie die Benutzerfreundlichkeit der App für blinde und sehbehinderte Menschen erhöht werden kann.
Feldstudie und Einarbeitung des Feedbacks:
Anhand der Ergebnisse aus Phase 1 werden wir eine Feldstudie durchführen, in der wir Feedback von blinden und sehbehinderten Benutzer*innen sammeln werden, um die Wirkung der App auf ihre Lebensqualität zu messen.
Übergabe an die Allgemeinheit:
In Phase 3 wird MI4People den relevanten Softwarecode, Daten und MI-Modelle/Tools, das während des Projekts erstellt wurde, öffentlich zugänglich machen. Die Community wird das System als Open-Source-Projekt pflegen und weiterentwickeln.