Журнал
Научно-технический вестник информационных технологий, механики и оптики
УДК:004.932.72'1, 004.852
Номер:5 (151)
Скачать PDF0 Кбайт
Сегментация жестов слов на видео жестового языка
Аннотация:
Введение. Несмотря на широкое распространение средств автоматического распознавания речи и сопровождения видео субтитрами, язык жестов по-прежнему является ключевым средством коммуникации для людей с нарушениями слуха. Важной задачей в процессе автоматического распознавания жестового языка является сегментация видео на фрагменты, соответствующие отдельным словам. В отличие от известных методов сегментации слов жестового языка, предложен подход, не требующий использования сенсоров (акселерометров). Метод. Для сегментации видео на слова использована оценка динамики изображения, а граница между словами определена с помощью порогового значения. На практике в кадре, кроме диктора, могут присутствовать сторонние движущиеся объекты, которые создают шум. В связи с этим предложено оценить динамику по среднему изменению от кадра к кадру евклидова расстояния между координатными характеристиками кисти, предплечья, глаз и рта. Вычисление координатных характеристик рук и головы осуществлено с помощью библиотеки MediaPipe. Основные результаты. Разработанный алгоритм апробирован для жестового вьетнамского языка на открытом наборе из 4364 видео, собранном во Вьетнамском центре обучения языку жестов. Алгоритм продемонстрировал высокую точность, сопоставимую с ручной сегментацией видео оператором, и низкую ресурсоемкость, что позволяет его использовать при автоматическом распознавании жестов в реальном времени. Обсуждение. Выполненные эксперименты показали, что задача сегментации языка жестов в отличие от известных методов может быть эффективно решена без использования сенсоров. Как и другие методы сегментации жестов, предложенный алгоритм неудовлетворительно работает при высокой скорости жестового языка, когда имеет место наложение слов друг на друга. Данная проблема является предметом дальнейших исследований.
Ключевые слова:
Постоянный URL
Статьи в номере
- Разработка адаптивной лазерной головки для компенсации погрешности положения перетяжки пучка во время лазерной обработки с использованием метода обнаружения пятна лазерного излучения
- Исследование изменения чувствительности волоконной брэгговской решетки к температуре и растяжению с помощью нанесения покрытий из легкоплавких металлов
- Исследование влияния наведенного периодического механического напряжения на величину связи поляризационных мод в двулучепреломляющем оптическом волокне
- Метод поиска функции Ляпунова для анализа устойчивости нелинейных систем с использованием генетического алгоритма
- Робастная компенсация возмущений для многоканальных линейных систем с неизмеримым вектором состояния и запаздыванием в канале управления
- Управление отслеживанием траектории для мобильных роботов с адаптивным коэффициентом усиления
- Переключение электрических свойств тонкопленочных мемристивных элементов на основе GeTe последовательностями сверхкоротких лазерных импульсов
- Спектральные и кинетические характеристики свернутых в виде свитков ультратонких нанопластин селенида кадмия
- Метод оптимизации параметров установки камеры для видеоконтроля зоны наблюдения произвольной формы
- Использование антропометрических точек для внесения ограничений в синтез трехмерной модели тела человека с помощью SMPL
- Метод тестирования лингвистических моделей машинного обучения текстовыми состязательными примерами
- Новый эффективный адаптивный алгоритм шаблонного поиска для оценки движения
- Кластеризация в аналитике больших данных: системный обзор и сравнительный анализ (обзорная статья)
- Метод построения интерпретируемых скрытых марковских моделей для задачи поиска связываемых участков пептидов в последовательностях белков
- Планирование заданий в распределенной вычислительной системе на кристалле с минимизацией потребляемой мощности
- Система маршрутизации клиентов на основе их эмоционального состояния и возраста в системах обслуживания населения
- Последствия малоподвижного поведения для здоровья и выявление неопределенных моделей поведения у взрослых
- Доверительные липшицевы классификаторы: инструмент гарантированной надежности
- Среда визуальной разработки программ многомерных нечетких интервально-логических регуляторов
- Решение задачи пространственного вращения 3D-поверхностей и их отображения на плоскости
- Аналитическое и имитационное моделирование гибких сочленений для мехатронных и робототехнических систем
- Оценка влияния степени заполнения реакционного тигля железо-олово на процессы тепло- и массопереноса в присутствии электрического тока высокой плотности
- Измерение показателя преломления с помощью автоколлимационного гониометра