Например, Бобцов

Комбинированная модель качества рекомендательных систем

Аннотация:

Введение. Рассмотрены подходы к количественной оценке различных эффектов, таких как позиционный сдвиг (Position Bias), сдвиг в сторону популярных объектов (Popularity Bias) и другие, в рекомендательных системах. Предложена новая модель качества рекомендательных систем, которая приводит выбранные метрики к одной единице измерения и определяет для каждого эффекта его влияние на систему. Полученные оценки позволяют проводить более глубокий сравнительный анализ различных систем, а также исследовать поведение системы на разных сегментах пользователей. Метод. Для каждой метрики в рамках предложенной модели строится две условные маргинальные плотности распределения: отдельно на релевантных и нерелевантных рекомендациях. На основе сравнения этих плотностей множество возможных значений метрики разделяется на нормальную и критическую. Модель оценивает влияние каждого эффекта на систему на основе частоты попадания значений соответствующей метрики в свою критическую область. Основные результаты. Для демонстрации работы модели проведен анализ четырех алгоритмов построения рекомендаций на академическом наборе данных MovieLens-100K. В ходе тестирования оценивались Popularity Bias, отсутствие новизны в рекомендациях и склонность систем рекомендовать объекты исключительно на основе демографических данных пользователей. Для каждого эффекта построена оценка его влияния на систему, приведен пример прогнозирования верхней оценки качества системы в случае устранения соответствующего эффекта. Обсуждение. Показано, что метрики таких эффектов, как Popularity Bias или Position Bias, могут менять распределение абсолютных значений в зависимости от рекомендательной системы. Одним из способов более надежно сравнивать разные рекомендательные системы является предложенная модель качества. Модель подходит для оценивания персональных рекомендаций независимо от сферы применения и алгоритма, который был использован для их построения.

Ключевые слова:

Постоянный URL

Статьи в номере

Содержание © 1993–2025 Университет ИТМО
Разработка © 2015 Университет ИТМО