Анализ поведения средств автоматизированного сбора информации с веб-ресурсов
Аннотация
В работе представлены результаты исследования поведения средств автоматизированного сбора информации на веб-ресурсе. Произведен анализ существующих методов обнаружения и противодействия веб-роботам, возможностей их комбинирования и ограничения использования. На сегодняшний день не существует открытой системы обнаружения веб-роботов, пригодной для использования в реальных условиях. Для разработки данной системы необходимы комплексные исследования поведения автоматизированных средств и проведение экспериментов на реальных ресурсах. Для решения данной задачи был разработан программный продукт - прототип системы обнаружения и проведено его тестирование. Теоретическая значимость данного исследования состоит в развитии актуального направления в отечественном сегменте, разработке системы обнаружения веб-роботов на основе новейших методов и усовершенствование лучших мировых практик. Прикладная значимость заключается в создании базы для разработки рабочего инструмента, который является актуальным продуктом и обладает спросом и перспективой дальнейшего использования.