В Армении создали прототип прибора, который поможет глухонемым учиться и работать

29.07.23 | 11:36

Армянский стартап 5Yet создал прибор, который поможет людям с нарушениями слуха и речи полноценно общаться с внешним миром, учиться и работать. Об этом рассказал Sputnik Армения менеджер по развитию бизнеса в проекте стартапа Геворг Хаджоян.

Для этого команда разработчиков создала перчатку с датчиками, которые считывают с фаланг пальцев и кисти руки слова и фразы жестового языка и синхронно переводят их на какой-либо из языков (в первоначальную модель заложен армянский). Мобильное приложение выдает на экран готовый текст, сказал он. Прототип прибора был представлен на форуме Sevan Startup Summit 2023.

На языке жестов можно говорить, используя буквы и слова. Пока что в прототип заложено узнавание букв. С них решили начать, посоветовавшись с Зубейдой Меликян, опытным преподавателем из Особого учебного комплекса для детей с нарушениями слуха (в обществе известна как "Школа глухих"), в ереванском районе Норк-Мараш.

Причина в следующем: если ребенок не привыкнет общаться при помощи букв, а только словами, тогда, например, вместо "мама, возьми меня покататься на каруселях" он будет говорить (жестами) "мама, ехать, я, кататься, карусель". Если ребенок все время будет говорить только так, то с годами он привыкнет и думать точно так же, то есть до конца не усвоит грамматику родного языка. Это помешает ему учиться, а затем и работать, отмечает Хаджоян.

"Меликян и другие специалисты подсказали нам эту мысль, и мы решили начать с букв", - добавил он.

На втором этапе в программу хотят ввести слова, но опять же советуясь со специалистами, чтобы учесть целый ряд других нюансов.

Например, не у всех детей слух нарушен на 100%: у кого-то, скажем, процентов на 70. Цель педагогов и родителей заключается в том, чтобы ребенок максимально развивал и остальные 30%. Но, получив такую перчатку, ребенок может попасть в зону комфорта и махнуть рукой и на речь, и на слух.

"В этой школе бывали случаи, когда таким детям предлагали эту перчатку как вспомогательный инструмент, а они "переставали слышать", чтобы пользоваться ей постоянно. Так и писали: "Я стал глухим, дайте мне эту перчатку", - рассказывает Геворг.

Поэтому в приложение заложили возможность ограничения на пользование перчаткой. Эти ограничения смогут устанавливать и учитель, и родители ребенка.

Теперь стартап готовит новую модель перчатки с усовершенствованными датчиками и моделью искусственного интеллекта. Благодаря этому, если в нынешней версии на трансформацию каждого жеста в букву требуется примерно полсекунды, то в новой перевод будет практически синхронным. Искусственный интеллект будет угадывать возможные варианты жеста примерно так, как на мобильном телефоне клавиатура подсказывает нам возможные слова по мере того, как мы печатаем.

В систему хотят ввести не только букварь, но и словарь жестов (чтобы была и возможность объясняться с помощью слов). При использовании системы за пределами Армении приложения можно будет оборудовать разными версиями языка жестов: русской, французской, американской и др.

К перчатке будет прилагаться перевод жестов в текст, а в премиум-версию будет добавлена функция преобразования текста в голос: чтобы, например, глухонемой человек мог объясняться в кафе или магазине.

"Главное, на что мы хотим сделать упор – это десятки и сотни возможностей, которые могут быть открыты для глухонемых. Они смогут учиться и работать. Думаю, чисто психологически многие предпочтут собственный заработок социальному пособию. Это важно и для Министерства образования, и для Министерства труда, которые стремятся максимально интегрировать людей с ограниченными возможностями", - добавил он.

Усовершенствованную модель хотят собрать в ближайшее время, а затем - представить ее в Министерстве труда и социальных вопросов и в Министерстве образования, науки, культуры и спорта. Для налаживания производства компания начала переговоры с инвесторами.