Моделирование базового переводчика индонезийского языка жестов на одноплатном компьютере Raspberry Pi
Аннотация:
Глухие люди имеют потерю слуха от легкой формы до очень тяжелой. Такие люди испытывают трудности при обработке языковой информации, как со слуховыми аппаратами, так и без них. Глухие люди, которые не применяют слуховые аппараты, в своих повседневных разговорах используют язык жестов. В то же время здоровым людям трудно общаться с глухими, поэтому для общения они должны знать язык жестов. В Индонезии существует два жестовых языка, а именно Indonesian Sign Language System (SIBI) и Indonesian Sign Language (BISINDO). Разработана модель для помощи в общении между глухими и здоровыми людьми. Модель рассмотрена на примере использования одноручного метода SIBI и доработана с использованием одноручного и двуручного BISINDO. Основная функция метода — распознавание основных букв, слов, предложений и цифр с помощью одноплатного компьютера Raspberry Pi и камеры, которые предназначены для обнаружения движений языковых жестов. Полученные изображения переводятся в текст на экране монитора с помощью специальной программы. Используемый метод заключается в обработке изображений и машинном обучении с использованием языка программирования Python и техники сверточной нейронной сети. Прототип устройства выдает предупреждение о необходимости повторить язык жестов, если перевод не удался, и удалить перевод, если он не соответствует базе данных. Прототип устройства требует дополнительных исследований для обеспечения гибкости при считывании динамических движений, выражений лиц, и перевода слов, не включенных в существующую базу данных. Также требуется расширение базы данных, отличной от языка жестов SIBI, например, BISINDO, или языков жестов из других регионов или стран.
Ключевые слова:
Постоянный URL
Статьи в номере
- Методы аудиовизуального распознавания людей в масках
- Влияние соотношения интенсивностей опорной и объектной волн на распределение интенсивности в формируемом с их помощью голографическом поле
- Высокоточный волоконно-оптический датчик температуры на основе интерферометра Фабри–Перо с отражающими тонкопленочными многослойными структурами
- Метод проектирования оптической системы для концентрации излучения мощных светодиодов
- Обнаружения выбоин на дорожных покрытиях с использованием методов фотограмметрии и дистанционного зондирования
- Адаптивное управление нелинейным объектом с несогласованными параметрическими неопределенностями и ограничением на входное воздействие
- Применение методов детектирования отказов для обнаружения информационных атак на систему управления
- Алгоритм детектирования и локализации отказов двигателя постоянного тока
- Синтез и реализация λ -подхода скользящего управления в системе теплопотребления
- Фотокаталитические свойства наноструктур Ag–AgBr в ионообменном слое натриево-цинк-алюмосиликатного стекла с бромом
- Формализация языков частично упорядоченных мультимножеств в системе Coq для спецификации слабых моделей памяти
- Облачная интеллектуальная система мониторинга для обнаружения нарушений маски и выдачи предупреждений
- Эффективная инкрементная хеш-цепочка с вероятностным методом на основе фильтра для обновления легких узлов блокчейна
- Метод генерации масок на изображениях лиц и системы их распознавания
- Повышение эффективности обработки жестового языка посредством малокадрового машинного обучения
- Комплекснозначное разложение матричных данных на принципах квантовой теории
- Метод многомодального машинного сурдоперевода для естественного человеко-машинного взаимодействия
- Веб-приложение для быстрой оценки субъективных ответов с использованием обработки естественного языка
- Обоснование путей построения и оценка эффективности применения пространственно распределенной системы информационных сенсоров для мониторинга обстановки
- Мониторинг инфильтрационных процессов в гидротехнических сооружениях с использованием распределенного акустического сенсора
- Конструкция волноводной антенны с прорезями для морской радиолокационной системы