Использование топологического анализа данных для построения байесовских нейронных сетей
Аннотация:
Введение. Впервые предложен упрощенный подход к построению байесовских нейронных сетей, сочетающий вычислительную эффективность с возможностью анализа процесса обучения. Метод. Предлагаемый подход основан на байесианизации детерминированной нейронной сети посредством рандомизации параметров только на уровне интерфейса. Формирование байесовской нейронной сети на основе заданной сети осуществляется путем замены ее параметров на вероятностные распределения, которые имеют в качестве среднего значения параметры исходной модели. Оценки метрик эффективности нейронной сети, полученной в рамках рассматриваемого подхода, и байесовской нейронной сети, построенной посредством вариационного вывода, выполнены с использованием методов топологического анализа данных. Основные результаты. Процедура байесианизации реализована с помощью градуированного варьирования интенсивности рандомизации. В качестве альтернативы использованы две нейронные сети с идентичной структурой — детерминированная и классическая байесовская. На вход нейронной сети подавались исходные данные двух датасетов из медицинского домена в вариантах без зашумления и с добавленным гауссовским шумом. Рассчитаны нулевые и первые персистентные гомологии для эмбеддингов формируемых нейронных сетей на каждом из слоев. Для оценки качества классификации использована метрика точности (accuracy). Показано, что баркоды для эмбеддингов на каждом слое байесианизированной нейронной сети во всех четырех сценариях находятся между соответствующими баркодами детерминированной и байесовской нейронной сетей как для нулевых, так и для первых персистентных гомологий. При этом детерминированная нейронная сеть является нижней границей, а байесовская — верхней. Показано, что структура ассоциаций данных внутри байесианизированной нейронной сети наследуется от детерминированной модели, однако приобретает свойства байесовской. Экспериментально установлено наличие взаимосвязи между нормированной персистентной энтропией, вычисляемой на эмбеддингах нейронной сети, и точностью нейронной сети. Для предсказания точности наиболее показательной оказалась топология эмбеддингов на среднем слое модели нейронной сети. Обсуждение. Предлагаемый подход может быть использован для упрощения построения байесовской нейронной сети из уже обученной детерминированной нейронной сети. Это открывает возможности повышения точности существующей нейронной сети без ансамблирования с дополнительными классификаторами. Появляется возможность проактивной оценки эффективности формируемой нейронной сети на упрощенных данных без запуска на реальном датасете, что сокращает ресурсоемкость ее разработки.
Ключевые слова:
Постоянный URL
Статьи в номере
- Моделирование освещенности земной поверхности для выбора режимов работы источника излучения
- Люминесцентная динамика кислородного окисления Viburnum opulus L. в растворах хитозана с наночастицами золота
- Динамическое поверхностное управление всенаправленным мобильным роботом с полными ограничениями состояния и насыщением входа
- Двухдлинноволновая цифровая голографическая интерферометрия в технических приложениях
- Структурный анализ наночастиц ZrO2 и TiO2
- Влияние покрытий поливинилбутираля с углеродными квантовыми точками на характеристики кремниевых солнечных элементов
- Численный алгоритм поиска оптимального состава реагирующей смеси на основе кинетической модели реакции
- Рамановская спектроскопия нанокомпозитов ZnO/ZnS и ZnO/ZnSe, полученных методом сольвотермического микроволнового синтеза
- Эмоциональный анализ данных социальных сетей с использованием кластерной вероятностной нейронной сети с параллелизмом данных
- Оценка возможности применения метода декомпозиции изображений по топологическим признакам для уменьшения энтропии при их сжатии
- Реализация нейронных сетей в методе многоуровневых компонентных цепей
- Алгоритм контроллера нечеткой логики для размещения файлов в системе хранения данных
- Персонализация сверточных нейронных сетей в задаче обнаружения стресса с использованием данных вариабельности сердечного ритма
- Метод моделирования вязкоупругих свойств ориентированных полимерных материалов с помощью многобарьерной теории
- Проектирование микрополосковой патч-антенны на основе метаматериала SSRR для терагерцового диапазона с использованием алгоритма оптимизации Fennec Fox
- Алгоритм оперативного поддержания температурного режима блоков усиления мощности передающего комплекса радиолокационной станции на основе тепловой модели
- Конвективный теплообмен и гидродинамика течения у торцевой стенки лопатки турбины под действием магнитного поля
- Методы бесконтактной регистрации информационных сигналов для аудита информационной безопасности систем и сетей электроснабжения
- Оценивание параметров синхронного двигателя с постоянными магнитами
- Проблемы защиты содержимого внутренней памяти микроконтроллеров Renesas