Mit 5G und KI
Kommunikationer
möglichen

GIGA ProjektZiele

Inhalt in DGS

5G als Enabler für spontane Live-Kommunikation zwischen DGS und deutscher Lautsprache

Technische Assistenzsysteme wie automatische Übersetzungshilfen können dabei helfen, Barrieren im Alltag der Nutzenden abzubauen.Sie können zum Beispiel Gebärdenden die gleichberechtigte Teilhabe an Kommunikation  ermöglichen. Diese wurde mangels technischer Möglichkeiten bisher verhindert.
Das Zusammenspiel von modernen Smartphones und dem Mobilfunkstandard 5G ermöglicht inzwischen nahezu latenzfreie Datenübertragungen mit extrem hohen Datenraten. Damit können Videostreams in die Cloud übertragen und dort von schnellen Rechnern durch Machine Learning verarbeitet werden – zum Beispiel, um DGS-Gebärden live zu erkennen und als Audio-Texte auszugeben.
Unser Ziel: mit diesen neuen Möglichkeiten eine Smartphone-App als Prototypen zu entwickeln, die einen spontane Austausch zwischen Menschen, die in DGS und Menschen, die in der deutschen Lautsprache kommunizieren, in Echtzeit zu ermöglichen.

Anforderungsanalyse

Ermitteln der relevanten Einsatzgebiete für die erste Anwendung in enger Zusammenarbeit mit der DGS-Community

UX Design

Entwickeln der passenden UX für den Prototyp der Anwendung durch das Erfassen der Nutzungssituation und des Kommunikationsablaufs in enger Zusammenarbeit mit SprachwissenschaftlerInnen und Gebärdenden

Prototyp als iOS und Android App

Umsetzung des Prototyps für das passende Einsatzgebiet als iOS und Android App

Machine Learning

Erzeugen des passenden Gebärdenwortschatzes und ermöglichen der Live-Übersetzung der gebärdeten Inhalte von DGS in Deutsch und umgekehrt durch maschinelles Lernen

3D-Avatar

Erforschen der Umsetzungsmöglichkeiten für einen 3D-Avatar, der Texte in DGS übersetzt und sie visuell als animierte Gebärden ausgeben kann.

GIGA Projekt-Tasks

GIGA Projektstand

Erste
Arbeitsergebnisse

GIGA projektkonsortium

Projekt-Team

GIGA Kontakt

GIGA Kontakt

Nehmen Sie Kontakt zu uns auf!

Schreiben sie uns

Förderung des Projekts

Förderkennzeichen:  s2101gif042

Das Konsortium bedankt sich beim Ministerium für die Mittelbereitstellung, welche die Durchführung dieses Projekts erst ermöglichen. Zusätzlich bedanken wir uns beim  Forschungszentrum Jülich für die operative Unterstützung und Koordination.