Например, Бобцов

СИСТЕМА ОБУЧЕНИЯ ВИЗУАЛЬНЫМ ПОНЯТИЯМ НА ОСНОВЕ СООТНЕСЕНИЯ ЛЕКСЕМ И КЛЮЧЕВЫХ ТОЧЕК

Аннотация:

Предмет исследования.Исследован процесс формирования визуальных понятий на основе двух неразмеченных потоков информации (визуального и текстового). Метод. Формирование визуальных понятий осуществляется путем соотнесения визуальных паттернов с появляющимися одновременно с ними лексемами. Процесс обучения разбивается на два этапа: раннее зрительное обучение (первичное обучение), обучение на основе лексико-семантической информации (вторичное обучение). Первый этап заключается в построении словаря визуальных слов, служащего основой для второго этапа. Вторичное обучение предполагает анализ двух потоков информации, связанных по времени. В каждом канале проводится разделение информации на отдельные единицы, которые, в свою очередь, описываются на основе векторов признаков. Визуальные понятия формируются путем выявления связи между признаками, извлеченными из двух каналов информации. Основные результаты. Реализована система формирования визуальных понятий, которая протестирована на видеоданных, сопровожденных субтитрами. Результаты тестирования показали принципиальную возможность формирования визуальных понятий данной системой. Практическая значимость. Описанная в работе система может быть использована для задач распознавания статических и динамических объектов, поиска изображений объектов в архиве видеоданных, автоматического создания баз визуальных понятий на основе произвольных видеофайлов, содержащих текстовое описание. 

Ключевые слова:

Статьи в номере