Ярослав Чеканов, студент Института интеллектуальной робототехники НГУ, создал программу, позволяющую переводить жесты в текст.
Как сообщает пресс-служба вуза, разработка основана на технологиях искусственного интеллекта, работает на ПК в режиме реального времени и на мобильных устройствах. На текущий момент поддерживается только дактиль (прим. дактиль — это жестовая азбука, при которой каждой букве соответствует определённый жест), в дальнейшем планируется доработать модель, расширив функционал и добавив обратный перевод - из текста в жесты и из голоса в жесты.
Студенты Института интеллектуальной робототехники НГУ уже с третьего курса начинают работать над реальными проектами, которые направлены на решение задач индустриальных партнеров и разных социально-значимых задач. В программу обучения включен специальный предмет «Управление производственным процессом и разработка программного обеспечения».
— Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык. Очень трудоемкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нем. Однако оно оказалось удачным. Я собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран, — рассказывает о работе над проектом Ярослав Чеканов.
На рынке есть подобное решение, но в данной разработке использована другая архитектура, а само приложение работает быстрее и результат перевода более точный.
Рубрика: Новости
Год: 2024
Месяц: Сентябрь
