Журнал
Научно-технический вестник информационных технологий, механики и оптики
УДК:004.89
Номер:4 (162)
Скачать PDF0 Кбайт
K-sparse энкодер для эффективного информационного поиска
Аннотация:
Введение. Современные промышленные поисковые системы, как правило, используют двухстадийный конвейер — быстрый отбор кандидатов и последующее ранжирование, что неизбежно ведет к потере части релевантных документов из-за простых алгоритмов на первой стадии. В работе предлагается одностадийный подход, сочетающий преимущества плотных моделей семантического поиска и эффективности инвертированных индексов. Ключевым компонентом решения является K-sparse энкодер, применяемый для преобразования плотных векторов в разреженные, совместимые с инвертированными индексами библиотеки Lucene. Метод. В отличие от ранее исследованного идентифицируемого вариационного автоэнкодера, предлагаемая модель основана на автоэнкодере с функцией активации TopK, которая явно фиксирует число ненулевых координат на этапе обучения. Такая функция активации делает процесс получения разреженного вектора дифференцируемым, устраняет необходимость постобработки и упрощает функцию потерь до суммы ошибки восстановления и компоненты, сохраняющей относительные расстояния между плотными и разреженными представлениями. Обучение выполнялось на подмножестве из 300 тыс. документов набора данных MS MARCO с использованием PyTorch и GPU NVIDIA L4. Основные результаты. Предложенная модель достигает 96,6 % качества исходной плотной модели по метрике NDCG@10 (0,57 против 0,59) на наборе данных SciFact при 80 % разреженности векторов. Дополнительно показано, что дальнейшее увеличение разреженности снижает объем индекса и ускоряет время поиска, сохраняя приемлемое качество поиска. По используемой памяти решение превосходит графовый алгоритм Hierarchical Navigable Small World, а по скорости приближается к нему при высоких уровнях разреженности. Обсуждение. Работа подтверждает применимость предложенного подхода для поиска неструктурированных данных. Прямое управление степенью разреженности дает возможность балансировать между качеством, задержкой поиска и требованиями к памяти. Благодаря использованию инвертированного индекса на базе библиотеки Lucene, предлагаемое решение может быть эффективно применено в промышленных поисковых системах. В качестве направлений дальнейших исследований рассматриваются интерпретируемость извлекаемых признаков и повышение качества поиска при значительной разреженности представлений.
Ключевые слова:
Постоянный URL
Статьи в номере
- Апохроматический объектив для изображающих спектральных систем видимого, ближнего и коротковолнового инфракрасного диапазонов спектра
- Применение эффекта перекрестной модуляции усиления в эрбиевом волокне для увеличения эффективной ширины спектра интеррогатора
- Нелинейное пропускание фторфосфатного стекла с квантовыми точками сульфидов и селенидов кадмия и свинца при воздействии фемтоcекундного лазерного излучения ближнего инфракрасного диапазона
- Методика оценки чувствительности к вибрации оптических компонентов, основанная на вейвлет-анализе вибрационно-модулированного излучения
- Характеризация плазменной смеси Ar:N2 с помощью оптической эмиссионной спектроскопии при магнетронном осаждении покрытия NbN
- Спектральный анализ сплавов Al-Ni при лазерном облучении: влияние энергии лазера на параметры плазмы
- Применение анаморфотной оптической системы и высокоскоростного линейного фотоприемника в инкрементном преобразователе перемещений открытого типа
- Исследование спектральных характеристик N-(2-(2-(2-азидоэтокси)этокси) этил)-4,6-ди(азиридин-1-ил)-1,3,5-триазин-2-амина с помощью методов теории функционала плотности
- Метод генерации анимации цифрового аватара с речевой и невербальной синхронизацией на основе бимодальных данных
- Применение машинного обучения для профилирования устройств Интернета вещей с целью обнаружения вредоносной активности
- Генерация шрифтов на основе анализа стиля и структуры символов с использованием диффузионных моделей
- Выявление аномалий в условиях ограниченности и неопределенности данных с использованием zero-shot и few-shot подходов
- Исследование влияния состязательных атак на классификацию и кластеризацию изображений на примере модели ResNet50
- Протокол пересечения множеств с сохранением конфиденциальности
- Метод сравнительного анализа временных серий наборов данных, заданных в виде множества строк, с использованием графов де Брейна
- Применение современных методов оценивания рисков информационной безопасности объекта критической информационной инфраструктуры
- Оптимизация моделей дистилляции знаний для языковых моделей
- Алгоритм взаимодействия человека с моделью индустриальной киберфизической системы посредством нейроинтерфейса
- Улучшенный протокол аутентификации беспилотных транспортных средств, использующий алгоритм Диффи–Хэллмана
- Имитационно-аналитическая модель надежности с возможной репликацией передач в реконфигурируемой многопутевой беспроводной сети
- Оценка точности позиционирования трамвая в кривых на основе данных карты и сегментированных изображений
- Построение оптимального плана дозаправок с использованием агрегированных сведений о значениях параметров маршрута из открытых источников
- Вейвлеты Эрмита–Гаусса: синтез дискретных форм и исследование свойств