![Научно-технический вестник информационных технологий, механики и оптики](/images/mag-ntv.png)
Кулин Н.И., Муравьев С.Б.
Продвинутые методы внедрения знаний в больших языковых моделях
Продвинутые методы внедрения знаний в больших языковых моделях
![Научно-технический вестник информационных технологий, механики и оптики](/images/mag-ntv.png)
Аннотация:
Трансформерные языковые модели революционизировали Natural Language Processing задачи благодаря достижениям в методах моделирования языка. Текущие архитектуры трансформеров используют механизмы внимания для эффективного моделирования текстовых зависимостей. Исследования показали, что эти модели встраивают синтаксические структуры и знания, объясняя их эффективность в задачах, связанных с синтаксическими и семантическими элементами. Однако трансформаторные модели склонны к галлюцинациям, когда встроенные знания не используются эффективно. Для решения этой проблемы появляются методы, направленные на снижение галлюцинаций и интеграцию внешних источников знаний, таких как графы знаний (например, Freebase, WordNet, ConceptNet, ATOMIC). Графы знаний представляют реальные знания через сущности и отношения, предлагая потенциальную точку внедрения для повышения производительности модели в задачах вывода. Различные подходы к внедрениям, включая внедрения входных и выходных данных, а также архитектурные, направлены на включение знаний из графов в трансформерные модели. Внедрения входных данных модифицируют предварительную обработку данных, архитектурные добавляют слои для интеграции знаний, а внедрения выходных данных корректируют функции ошибок для правильного включения знаний во время обучения. Несмотря на продолжающиеся исследования, универсальное решение проблемы галлюцинаций и стандартизированный бенчмарк для сравнения методов внедрения знаний отсутствуют. В данном исследовании рассматриваются графы знаний как один из методов решения галлюцинаций и их возможная интеграция в большие языковые модели. Сравнительные эксперименты на бенчмарке General Language Understanding Evaluation показали, что ERNIE 3.0 и XLNet превосходят другие методы внедрения со средними оценками 91,1 % и 90,1 %.
Ключевые слова:
Постоянный URL
Статьи в номере
- Евстропьев С.К., Волынкин В.М., Булыга Д.В., Островский В.А., Макаров К.Н. и др.
Органо-неорганические светопоглощающие композиты для ближней инфракрасной области спектра - Шулепова А.В., Шулепов В.А., Стригалев В.Е.
Исследование пироэлектрического эффекта и создание модифицированной конструкции фазового модулятора на основе ниобата лития - Опарин Е.Н., Лаппо-Данилевская А.К., Черных А.В., Цыпкин А.Н.Изменение контраста изображения объекта наблюдения при однопиксельной и матричной визуализации через рассеивающую среду
- Нгуен Х.Т., Власов С.М., Пыркин А.А., Калинин К.Ю., Нгуен М.Х., Нгуен В.В., Буй В.Х.
Синтез адаптивного наблюдателя для нелинейных нестационарных систем - Антипина Е.В., Мустафина С.А., Антипин А.Ф.
Автоматизация поиска оптимальных значений параметров процесса олигомеризации этилена - Осадченко А.В., Амброзевич С.А., Захарчук И.А., Ващенко А.А., Дайбаге Д.С., Рыжов А.В. и др.
Электролюминесценция новых координационных соединений ионов европия с β-дикетонами, уксусной и масляной кислотами - Казиева Н.М., Кухарев Г.А., Мауленов К.С.
Метод формирования мультимедийных файлов для задач лицевой биометрии и ее приложений - Сидоренко Д.А., Шалыто А.А.
Предсказание связей «ген-болезнь» с помощью гетерогенной графовой нейронной сети - Садин Д.В.
Компьютерное моделирование взаимодействия ударной волны со стенкой, экранированной неоднородным слоем газовзвеси - Деева И.Ю., Шахкян К.А., Каминский Ю.К.
Моделирование многомерных данных с помощью композитных байесовских сетей - Заричняк Ю.П., Ходунков В.П.
Метод получения двухкомпонентных композиционных материалов с заданной теплопроводностью - Брызгунов П.А., Рогалев А.Н., Киндра В.О. и др.
Компьютерное моделирование тепломассообменных процессов при конденсации водяных паров из продуктов сгорания природного газа на поверхности гладких цилиндрических труб - Сухотерин М.В., Сосновская А.А.
Потеря устойчивости защемленной по контуру прямоугольной нанопластины - Мифтахов Э.Н., Кашникова А.П., Иванов Д.В.
Использование генетических алгоритмов для решения задачи поиска оптимального состава реакционной смеси - Булат П.В., Вокин Л.О., Волков К.Н. и др.
Конфигурируемые модели горения в камере сгорания микротурбинного двигателя с возможностью подключения различных физико-химических процессов - Сухов В.Д., Короткевич Г.В., Сергушичев А.А.
Многоуровневое расщепление в методе Монте-Карло для оценки вероятностей редких событий в пермутационных тестах - Теплякова А.Р., Шершнев Р.В., Старков С.О.
Метод сегментации мышечной ткани на снимках компьютерной томографии на базе предобработанных трехканальных изображений - Давыдов С.Ю., Лебедев А.А.
Модель адсорбции на эпитаксиальном графене: аналитические результаты