ПЕРЕНОС ЗНАНИЙ В ЗАДАЧЕ АВТОМАТИЧЕСКОГО РАСПОЗНАВАНИЯ РУССКОЙ РЕЧИ В ТЕЛЕФОННЫХ ПЕРЕГОВОРАХ
Аннотация:
Приведено описание метода переноса знаний (knowledge transfer) между ансамблем нейросетевых акустических моделей и нейросетью-учеником. Данный метод используется для снижения вычислительных затрат и повышения качества системы распознавания речи. В ходе экспериментов рассмотрены два варианта генерации меток классов от ансамбля моделей: интерполяция с выравниванием и использование апостериорных вероятностей. Также исследовано влияние коэффициента сглаживания на качество получаемых моделей. Данный коэффициент был встроен в выходной лог-линейный классификатор нейронной сети (softmax-слой) и использовался как в ансамбле, так и в нейросети-ученике. Дополнительно были проанализированы начальная и конечная скорости обучения. Удалось установить, что при использовании апостериорных вероятностей, сгенерированных ансамблем нейронных сетей, существует пропорциональная зависимость между коэффициентом сглаживания и параметрами скорости обучения. Наконец, использование метода переноса знаний в задаче автоматического распознавания русской речи в телефонном канале позволило сократить уровень пословной ошибки на 2,49% по сравнению с моделью, обученной на выравнивании от ансамбля нейронных сетей.
Ключевые слова:
Постоянный URL
Статьи в номере
- О СОВРЕМЕННОМ ПОДХОДЕ К ПРОЕКТИРОВАНИЮ БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ САМОЛЕТНОГО ТИПА С КОРОТКИМ ВЗЛЕТОМ И ПОСАДКОЙ. ЧАСТЬ III. ЧИСЛЕННОЕ МОДЕЛИРОВАНИЕ ВИХРЕВОЙ АЭРОДИНАМИКИ ЛЕТАТЕЛЬНОГО АППАРАТА МЕТОДОМ ДИСКРЕТНЫХ ВИХРЕЙ
- ЛОКАЛЬНОЕ ЛАЗЕРНОЕ ИСПАРЕНИЕ ПЛЕНОК СЛОЖНЫХ ТОПОЛОГИЙ ЧУВСТВИТЕЛЬНОГО ЭЛЕМЕНТА МИКРОГИРОСКОПА НА ПОВЕРХНОСТНЫХ АКУСТИЧЕСКИХ ВОЛНАХ
- РАСПРЕДЕЛЕНИЕ АМПЛИТУДЫ ОПТИЧЕСКОГО ПОЛЯ НА ТРАНСПАРАНТЕ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ ДЛЯ ИЗМЕРЕНИЯ ПАРАМЕТРОВ ВИБРОПОДСТАВКИ В ЛАЗЕРНОМ ГИРОСКОПЕ
- ВЫБОР ПАРАМЕТРОВ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ КОНТРОЛЯ СМЕЩЕНИЙ С АКТИВНЫМИ РЕПЕРНЫМИ МАРКАМИ
- МЕТОД КОНТРОЛЯ ДЕФОРМАЦИЙ КОМПОЗИТНЫХ КОНСТРУКЦИОННЫХ ЭЛЕМЕНТОВ С ПОМОЩЬЮ ВОЛОКОННО-ОПТИЧЕСКОГО ДАТЧИКА АКУСТИЧЕСКОЙ ЭМИССИИ
- ПОЛУПРОВОДНИКОВЫЙ СТАНДАРТ ЧАСТОТЫ НА ЛИНИИ P(16) ИЗОТОПА АЦЕТИЛЕНА СО СТАБИЛИЗАЦИЕЙ ПО ТЕМПЕРАТУРЕ ФАЗОМОДУЛЯЦИОННЫМ МЕТОДОМ
- УПРАВЛЕНИЕ ЭЛЕКТРИЧЕСКИМ ГЕНЕРАТОРОМ В УСЛОВИЯХ ВЫСОКОЧАСТОТНЫХ ПОМЕХ ИЗМЕРЕНИЯ
- ОБРАБОТКА И АНАЛИЗ ЗВУКОВОЙ И ВИЗУАЛЬНОЙ СОСТАВЛЯЮЩИХ РЕЧИ НА ОСНОВЕ ПРОЕКЦИОННЫХ МЕТОДОВ
- ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ МЕТОДА КОДИРОВАНИЯ ВНУТРИКАДРОВЫМ ПРЕДСКАЗАНИЕМ В СТАНДАРТЕ H.265/HEVC
- ПРИМЕНЕНИЕ СЕМАНТИЧЕСКОЙ МОДЕЛИ БАЗЫ ДАННЫХ ПРИ РЕАЛИЗАЦИИ ЕСТЕСТВЕННО-ЯЗЫКОВОГО ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА
- ОРГАНИЗАЦИЯ ЦИФРОВЫХ ПРОИЗВОДСТВ ИНДУСТРИИ 4.0 НА ОСНОВЕ КИБЕРФИЗИЧЕСКИХ СИСТЕМ И ОНТОЛОГИЙ
- ПОДХОД К ВЫБОРУ ИНФОРМАТИВНОГО ПРИЗНАКА В ЗАДАЧЕ ИДЕНТИФИКАЦИИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
- МЕТОДОЛОГИЯ ПРОЕКТИРОВАНИЯ, РАЗРАБОТКИ И СОПРОВОЖДЕНИЯ ДОМЕННЫХ СЕМАНТИЧЕСКИХ ПОРТАЛОВ НАУЧНО-ТЕХНИЧЕСКОЙ ИНФОРМАЦИИ
- ИСПОЛЬЗОВАНИЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ ОПРЕДЕЛЕНИЯ НАРУШЕНИЙ ЦЕЛОСТНОСТИ JPEG-ИЗОБРАЖЕНИЙ
- ОБЪЕКТНО-ПРОЦЕССНАЯ МОДЕЛЬ ДАННЫХ ДЛЯ СЕРВИС-ОРИЕНТИРОВАННОЙ АРХИТЕКТУРЫ ИНТЕГРИРОВАННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ
- ЗАДАЧИ АНАЛИЗА ЗАЩИЩЕННОСТИ ПОЛЬЗОВАТЕЛЕЙ ОТ СОЦИОИНЖЕНЕРНЫХ АТАК: ПОСТРОЕНИЕ СОЦИАЛЬНОГО ГРАФА ПО СВЕДЕНИЯМ ИЗ СОЦИАЛЬНЫХ СЕТЕЙ
- ОПТИМАЛЬНАЯ МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ДЛЯ ОПИСАНИЯ ФИЗИЧЕСКИХ ЯВЛЕНИЙ И ПРОЦЕССОВ
- МЕТОД СИНТЕЗА СХЕМОТЕХНИЧЕСКИХ МОДЕЛЕЙ ЦИФРО-АНАЛОГОВЫХ ПРЕОБРАЗОВАТЕЛЕЙ ДЛЯ ИНТЕГРАЛЬНЫХ СХЕМ
- ВРЕМЕННОЙ АНАЛИЗ ИНТЕГРАЛЬНЫХ СХЕМ С УЧЕТОМ МОДЕЛЕЙ КОНТАКТНЫХ ПЛОЩАДОК И ПРОВОДНИКОВ РАЗВАРКИ
- ПОВЫШЕНИЕ ТОЧНОСТИ АВТОМАТИЧЕСКОГО РАСПОЗНАВАНИЯ ВИЗУАЛЬНОЙ РУССКОЙ РЕЧИ: ОПТИМИЗАЦИЯ ВИЗЕМНЫХ КЛАССОВ
- ОБЪЕДИНЕНИЕ ПРИЗНАКОВ В ЗАДАЧЕ ОБУЧЕНИЯ НЕЙРОСЕТЕВЫХ АКУСТИЧЕСКИХ МОДЕЛЕЙ