Например, Бобцов

МЕТОДЫ ОПТИМИЗАЦИИ МОДЕЛЕЙ НЕЙРОННЫХ СЕТЕЙ

Аннотация:

Рассмотрены методы построения ускорителей глубокого обучения. Показано, что традиционные подходы к обеспечению отказоустойчивости ускорителей глубокого обучения основаны на избыточных вычислениях, что приводит к значительным накладным расходам, включая время обучения, энергопотребление и размеры интегральных схем. Рассмотрен метод, основанный на учете различий в уязвимости отдельных нейронов и битов каждого нейрона, частично решающий проблему избыточности вычислений. Метод позволяет избирательно защищать компоненты модели на уровне архитектуры и схемы, что снижает накладные расходы без ущерба для надежности модели. Показано, что квантование модели ускорителя глубокого обучения позволяет представлять данные меньшим числом битов, что снижает требования к аппаратным ресурсам.

Ключевые слова:

Постоянный URL

Статьи в номере

Содержание © 1993–2024 Университет ИТМО
Разработка © 2015 Университет ИТМО