Maria Urbańska, tegoroczna absolwentka Wydziału Informatyki i Telekomunikacji, postanowiła stworzyć mobilną aplikację, która ułatwi życie osobom niesłyszącym. Program ma tłumaczyć wycinek polskiego języka migowego (PJM) w czasie rzeczywistym za pomocą kamerki w telefonie.

W dobie internetowych translatorów można już przetłumaczyć większość tekstów z różnych języków, ale takiej możliwości nie mają na razie osoby posługujące się językiem migowym. Z tym problemem postanowiła zmierzyć się Maria Urbańska, absolwentka kierunku informatyka techniczna na W4.

Chce stworzyć aplikację, która będzie w stanie tłumaczyć określony wycinek polskiego języka migowego w czasie rzeczywistym za pomocą telefonu. Pomysł zakłada, że osoba g/Głucha pokazuje komunikat w języku migowym do kamerki, a aplikacja przekłada obraz na komunikat tekstowy albo głosowy.

– Na tym etapie chodzi o podstawową komunikację. Aplikacja ma pomagać w codziennych sytuacjach, np. w sklepie, na poczcie, u lekarza, z czasem też w urzędzie. Problemów, z jakimi muszą na co dzień zmierzyć się Głusi, jest naprawdę sporo – mówi Maria Urbańska. – Jest piękny reportaż „Głusza” Anny Goc o sytuacji osób g/Głuchych w Polsce. Bardzo jasno jest tam pokazane, jak np. dzieci osób niesłyszących, które słyszą, muszą brać na siebie niewyobrażalnie dużo obowiązków i być tłumaczami w każdej sytuacji. Nawet w takiej, do której dzieci nie powinny być dopuszczane. A to dlatego, że nie ma tłumaczy języka migowego – dodaje.

Program mentoringowy, deweloper i start-up

Aby aplikacja mogła powstać i stać się powszechnie dostępnym narzędziem, Maria Urbańska założyła start-up, który zajmie się opracowaniem, a potem promocją i dostarczaniem programu. Pomaga jej kolega z roku, Dmitry Goltstein, deweloper, posługujący się frameworkiem Flutter, służącym do tworzenia aplikacji wieloplatformowych, głównie mobilnych. To on będzie odpowiedzialny za napisanie aplikacji mobilnej.

– To, kiedy uda nam się stworzyć aplikację, zależy w dużej mierze od tego, jak szybko znajdziemy osoby, które chciałyby migać, ponieważ sieć neuronowa uczy się na danych. Do mojej pracy inżynierskiej migałam ja, ale nie posługuję się płynnie językiem migowym – mówi Maria Urbańska. – Jeżeli chcemy stworzyć rozwiązanie komercyjne, to musi być ono oparte na danych zebranych od osób, które faktycznie potrafią migać.

Nasza absolwentka korzysta też ze wsparcia programu mentoringowego „Perspektyw” Shesnnovation Academy. Mentor z tego programu zapewnia wsparcie w rozwijaniu samego rozwiązania, jak i w kwestiach otworzenia i prowadzenia start-upu. Program kończy się w czerwcu, dlatego Maria Urbańska ma nadzieję, że być może do tego czasu uda się stworzyć prototyp aplikacji.

– Najważniejsze jest wytrenowanie takiej sieci neuronowej, która będzie w stanie tłumaczyć znaki języka migowego. Kwestię liczby znaków i jakich dokładnie, będziemy konsultować z różnymi środowiskami osób g/Głuchych. Planujemy, że to będzie około 300–400 znaków, które zapewnią podstawową komunikację – wyjaśnia Maria Urbańska.

Migający avatar

Z czasem narzędzie będzie rozszerzane. W przyszłości Maria Urbańska planuje też opracowanie komunikacji w drugą stronę. Jest to dużo trudniejsze zadanie, ale bardzo potrzebne.

– Osoby g/Głuche często nie znają języka polskiego, więc problemem jest nie tylko przetłumaczyć, co takie osoby migają na polski, ale też z polskiego na migowy – mówi twórczyni aplikacji. – W trakcie robienia researchu dotarliśmy do innej aplikacji, którą ktoś zaczął tworzyć, ale pomysł został zarzucony. Założenie było takie, że stworzymy awatara, który będzie migał podany tekst. Zanim to jednak nastąpi musimy wytrenować sieć neuronową, którą opracowałam na potrzeby pracy inżynierskiej. Póki co rozpoznaje 38 znaków polskiego języka migowego – dodaje.

Docelowo aplikacja ma być darmowa, ale twórcy poszukują sponsorów, dzięki którym sfinansują swoje prace.

* Wielka litera w zapisie słowa „Głusi" wskazuje na społeczność postrzeganą jako mniejszość językowa. Natomiast słowo „głuchy” zapisane małą literą oznacza osobę niesłyszącą. Zapis g/Głusi łączy oba te znaczenia.