Виртуальная реальность в помощь изучению казахского языка жестов
В центре предпринимательства "QOLDAÝ" познакомился с очень крутым стартапом.
Абай Талгатов и Виталий Фёдоров в свои 24 и 22 года пишут сейчас программу для обучения языку жестов на казахском и русском языках с помощью технологий VR (виртуальной реальности)!
Ребята основали компанию XRTech и планируют писать программы для бизнес-клиентов с использованием VR. Вариантов применения этой технологии множество от производства до индустрии развлечений. Но свободное время используют на социальный проект по обучению языку жестов. Уже сделали программу по изучению алфавита, и переходят на разработку программы по составлению простых предложений.
1. В центре "QOLDAÝ" стартапу помогли с разработкой бизнес-плана, и в этом году Абай и Виталий выиграли грант на реализацию проекта.
2. Основными направлениями своей деятельности Абай и Виталий называют разработку приложений для VR для бизнеса в профессиях, где есть риск для жизни. А сейчас занимаются этим социальным пилотным проектом - тренажёром для обучения языку жестов на казахском и русском языках. Уже проработали алфавит и переходят к стадии разработки построения простых предложений.
3. Инструментом для обучения являются очки для VR, например, Oculus.
4. 95% семей, где рождаются дети с проблемой слуха, - со слышащими родителями. Поэтому обучение языку жестов необходимо не только для самих детей, но и для их родных.
5. В январе 2020 года для Oculus Quest было выпущено программное расширение «Отслеживание рук в Oculus Quest», и теперь камеры в очках могут отслеживать движение рук. Что и позволило начать разработку программы для изучения языка жестов.
На фото я нажимаю кнопки в меню, которое вижу в своих очках.
6. Меню и свои руки я вижу примерно в таком интерфейсе.
7. Сейчас программа даёт возможность выучить все позы рук для всех букв, кроме Ё, Ц, Щ, Ъ (эти буквы содержат скрещивание пальцев, которые сложно отследить).
Так выглядит жест для буквы Ы.
8. Так выглядит казахский язык на языке жестов. Мышечная память настолько сильна, что я за несколько минут легко освоил несколько букв. Для эксперимента потом стал пытаться это сделать, смотря и повторяя по картинке. Эффекта дало значительно меньше.
9. Примерно так выглядит вид в очках при изучении букв. Слева рука-подсказка, показывающая, какой жест нужно сделать, чтобы "сказать" букву Ш.
10. Проект очень крутой, и я искренне желаю разработчикам успеха и практического применения! Технология позволит производить обучение не только в специализированных центрах, но и в домашних условиях. Другой проблемой сейчас является то, что не все могут найти такой спеццентр вблизи от дома, а с помощью VR возможно сделать одновременно обучение в игровой форме для слышащих родителей и ребёнка с проблемами слуха.
Спасибо за внимание! Подписывайтесь также на мои аккаунты в социальных сетях:
Фейсбук: https://www.facebook.com/theyakov
Инстаграм: https://www.instagram.com/yakovfedorov/
Твиттер: https://twitter.com/YakovFedorov