Журнал
Научно-технический вестник информационных технологий, механики и оптики
УДК:004.65
Номер:1 (89)
Скачать PDF0 Кбайт
АНАЛИЗ ДАННЫХ НА ОСНОВЕ ПЛАТФОРМЫ SQL-MAPREDUCE
Аннотация:
Рассмотрены проблемы, связанные с применением реляционных СУБД в области анализа больших объемов данных, в том числе данных, предоставляемых для аналитики посредством веб-сервисов в Интернет. Возможность их решения может быть представлена веб-ориентированной распределенной системой анализа данных, исполнительным ядром которой является процессор сервисных запросов. Функции такой системы аналогичны функциям реляционных СУБД, только применительно к веб-сервисам. Процессор сервисных запросов необходим для формирования и исполнения плана вызова веб-сервисов анализа данных. Эффективность такой веб-ориентированной системы зависит от эффективности плана вызова веб-сервисов и программной реализации веб-сервисов, основным элементом которых являются средства хранения анализируемых данных – реляционные СУБД. Развитию возможностей реляционных СУБД для анализа больших объемов данных и уделено основное внимание в данной работе, а именно – оценке перспективности реализации веб-сервисов анализа данных на основе платформы SQL/MapReduce. Для достижения поставленной цели в качестве прикладной была выбрана аналитическая задача, характерная для различных социальных сетей и веб-порталов, связанная с анализом данных об их посещаемости различными пользователями. В рамках практической части исследования был реализован алгоритм формирования плана вызова веб-сервисов для решения прикладной аналитической задачи и выполнен эксперимент, подтверждающий эффективность технологии SQL/MapReduce и перспективность применения ее при реализации веб-сервисов анализа данных.
Ключевые слова:
Постоянный URL
Статьи в номере
- ПЛАЗМОННЫЕ СОЛИТОНЫ, КИНКИ И ВОЛНЫ ФАРАДЕЯ В ДВУМЕРНОЙ РЕШЕТКЕ МЕТАЛЛИЧЕСКИХ НАНОЧАСТИЦ
- ИССЛЕДОВАНИЕ ХАРАКТЕРИСТИК СИГНАЛОВ СПЕКТРАЛЬНОЙ ИНТЕРФЕРЕНЦИИ В БЛИЖНЕЙ ИК ОБЛАСТИ СПЕКТРА
- ЛОГИКА С ИСКЛЮЧЕНИЕМ НА АЛГЕБРЕ ФУРЬЕ-ДУАЛЬНЫХ ОПЕРАЦИЙ: НЕЙРОСЕТЕВОЙ МЕХАНИЗМ РЕДУЦИРОВАНИЯ КОГНИТИВНОГО ДИССОНАНСА
- ИЗВЛЕЧЕНИЕ МАТЕРИАЛЬНЫХ ПАРАМЕТРОВ ПЛАЗМОННОГО МУЛЬТИСЛОЯ ИЗ КОЭФФИЦИЕНТОВ ОТРАЖЕНИЯ И ПРОХОЖДЕНИЯ
- МЕТОД ИССЛЕДОВАНИЯ ЗАВИСИМОСТИ h-ПАРАМЕТРА АНИЗОТРОПНОГО СВЕТОВОДА ОТ РАДИУСА ИЗГИБА
- ТЕХНОЛОГИЧЕСКИЕ МЕТОДЫ СНИЖЕНИЯ УРОВНЯ ОПТИЧЕСКИХ ПОТЕРЬ В МИКРОСТРУКТУРИРОВАННЫХ ВОЛОКОННЫХ СВЕТОВОДАХ
- МНОГОЗОННОЕ ПРОСВЕТЛЯЮЩЕЕ ПОКРЫТИЕ НА ПОДЛОЖКЕ ИЗ ОПТИЧЕСКОГО СУЛЬФИДА ЦИНКА
- КОНТРОЛЬ СТРУКТУРЫ РАЗЛИЧНЫХ ВИДОВ БУМАГИ МЕТОДОМ АТОМНО-СИЛОВОЙ МИКРОСКОПИИ
- ЭНЕРГОСБЕРЕГАЮЩАЯ ТЕХНОЛОГИЯ РАСПЛАВЛЕНИЯ ХИМИЧЕСКИХ ВЕЩЕСТВ СВЕТОВЫМ ИЗЛУЧЕНИЕМ
- О ТЕХНОЛОГИЧЕСКИХ НЕСОВЕРШЕНСТВАХ ГЕОМЕТРИЧЕСКИХ ПАРАМЕТРОВ СИЛОВОГО СТЕРЖНЯ ДЛЯ ЗАГОТОВКИ ОПТИЧЕСКОГО ВОЛОКНА PANDA
- ВЕРИФИКАЦИЯ ПАРАЛЛЕЛЬНЫХ АВТОМАТНЫХ ПРОГРАММ
- О ВЛИЯНИИ АДАПТИВНЫХ ПОЛЬЗОВАТЕЛЬСКИХ ИНТЕРФЕЙСОВ НА НАДЕЖНОСТЬ И ЭФФЕКТИВНОСТЬ ФУНКЦИОНИРОВАНИЯ АВТОМАТИЗИРОВАННЫХ СИСТЕМ
- МЕТОД ОТОБРАЖЕНИЯ ЗАДАЧ НА КРУПНОГРАНУЛЯРНЫЕ РЕКОНФИГУРИРУЕМЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ
- ОЦЕНКА ПРИМЕНИМОСТИ МОДЕЛИ IRI-2012 ДЛЯ АВТОМАТИЗИРОВАННОЙ ОБРАБОТКИ ИОНОГРАММ ВЕРТИКАЛЬНОГО ЗОНДИРОВАНИЯ
- ОЦЕНКА ТОЧНОСТИ ВИЗУАЛИЗАЦИИ МЕСТОПОЛОЖЕНИЯ ОБЪЕКТА В ГЕОИНФОРМАЦИОННЫХ СИСТЕМАХ И СИСТЕМАХ ИНДИКАЦИИ НАВИГАЦИОННЫХ КОМПЛЕКСОВ ПИЛОТИРУЕМЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ
- ПРИМЕНЕНИЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ ОБНАРУЖЕНИЯ БАКТЕРИЙ В ПРОДУКТАХ ПИТАНИЯ
- ПРЕДСТАВЛЕНИЕ ДОКУМЕНТОВ В ЗАДАЧЕ КЛАСТЕРИЗАЦИИ АННОТАЦИЙ НАУЧНЫХ ТЕКСТОВ
- ИСПОЛЬЗОВАНИЕ КОНТЕЙНЕРА BC7 ДЛЯ ХРАНЕНИЯ ТЕКСТУР С ГЛУБИНОЙ ЦВЕТА 10 БИТ
- ПРЕДШЕСТВУЮЩАЯ И ПОСЛЕДУЮЩАЯ ФИЛЬТРАЦИЯ ШУМОВ В АЛГОРИТМАХ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ
- ОЦЕНКА ВОЗМОЖНОСТИ ЭКРАННОЙ РЕПРОДУКЦИИ НАСЫЩЕННЫХ ПИГМЕНТОВ
- ЭКСПЛУАТАЦИОННЫЕ ХАРАКТЕРИСТИКИ РИСКА НАРУШЕНИЙ БЕЗОПАСНОСТИ ИНФОРМАЦИОННОЙ СИСТЕМЫ
- ИДЕНТИФИКАЦИЯ АНОНИМНЫХ ПОЛЬЗОВАТЕЛЕЙ ИНТЕРНЕТ-ПОРТАЛОВ НА ОСНОВАНИИ ТЕХНИЧЕСКИХ И ЛИНГВИСТИЧЕСКИХ ХАРАКТЕРИСТИК ПОЛЬЗОВАТЕЛЯ
- МЕТОДИКА РАСЧЕТА КОЭФФИЦИЕНТОВ ОБЛУЧЕННОСТИ ЦИЛИНДРИЧЕСКОГО КОСМИЧЕСКОГО ОБЪЕКТА ПОДСВЕТКОЙ ЗЕМЛИ
- АВТОНОМИЗАЦИЯ НЕЛИНЕЙНЫХ ДИНАМИЧЕСКИХ СИСТЕМ
- СОВРЕМЕННОЕ СОСТОЯНИЕ И ПЕРСПЕКТИВЫ РАЗВИТИЯ ОСНОВНЫХ ПОНЯТИЙ В ОБЛАСТИ МЕХАТРОНИКИ
- ОПЫТ ПРИМЕНЕНИЯ И ПЕРСПЕКТИВЫ ТЕХНОЛОГИИ АЛМАЗНОГО МИКРОТОЧЕНИЯ
- ОСОБЕННОСТИ ФОРМИРОВАНИЯ ПРЯМЫХ ЗУБЬЕВ ЦИЛИНДРИЧЕСКИХ КОЛЕС СТУПЕНЧАТЫМ ДОЛБЯКОМ
- ПРОБЛЕМА УЧЕТА ЗАВИСИМОСТИ КОЭФФИЦИЕНТА ОБЪЕМНОЙ ТЕПЛОЕМКОСТИ ОТ ТЕМПЕРАТУРЫ ПРИ МОДЕЛИРОВАНИИ ЛАЗЕРНО-ДУГОВОЙ НАПЛАВКИ
- МЕТОДЫ МОДЕЛИРОВАНИЯ ТЕМПЕРАТУРНОГО ПОЛЯ ПРИ БЕСКОНТАКТНОЙ ЛАЗЕРНОЙ ДЕФОРМАЦИИ ПЛАСТИНЫ
- ЧИСЛЕННОЕ МОДЕЛИРОВАНИЕ ТУРБУЛЕНТНОГО ПОТОКА ВОЗДУХА С ИСПОЛЬЗОВАНИЕМ МЕТОДА ОТСОЕДИНЕННЫХ ВИХРЕЙ
- СТРАТЕГИЯ МАРКЕТ-МЕЙКИНГА В СИСТЕМЕ ВЫСОКОЧАСТОТНОЙ АЛГОРИТМИЧЕСКОЙ ТОРГОВЛИ
- ОТ ТРАДИЦИОННОГО ДИСТАНЦИОННОГО ОБУЧЕНИЯ К МАССОВЫМ ОТКРЫТЫМ ОНЛАЙН-КУРСАМ
- ОБРАТИМАЯ ФОТОДЕСТРУКЦИЯ НАНОЧАСТИЦ СЕРЕБРА В ФОТО-ТЕРМО-РЕФРАКТИВНЫХ СТЕКЛАХ
- УРАВНЕНИЯ ПЕРЕНОСА ИЗЛУЧЕНИЯ В ИНФРАКРАСНОЙ ТОМОГРАФИИ В СЛУЧАЕ АКТИВНО-ПАССИВНОЙ ДИАГНОСТИКИ И ВЕЕРНОГО СКАНИРОВАНИЯ
- ПОЛУЧЕНИЕ СПЕКТРОВ ЭЛЕКТРОФИЗИОЛОГИЧЕСКИХ СИГНАЛОВ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ