ЗАДАНИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ ПО ПРОЙДЕННОМУ МАТЕРИАЛУ
В тетради-практикуме выполните задания к занятию 6.
Занятие 7. Обзор ИТ, предназначенных для оперативной и аналитической обработки данных.
Успешно изучив данный материал, Вы будете:
þ Знать:
- Понятие и основное назначение OLTP-систем.
- Понятие и основное назначение OLAP-систем.
- Классы OLAP-систем.
- Задачи, решаемые OLTP- и OLAP-системами.
þ Уметь:
- Отличать задачи, решаемые OLTP- и OLAP-системами
- Ориентироваться в классах OLAP-систем
þ Обладать навыками:
- Использования OLTP- и OLAP-системам в работе менеджера
Изучая тему, необходимо акцентировать внимание на следующих понятиях:
- OLTP-система
- OLAP-система
- Data Warehousing - хранилища (склады) данных
ТЕОРИЯ
В области ИТ управления существуют два взаимно дополняющих друг друга направления:
· технологии, ориентированные на оперативную (транзакционную) обработку данных. Эти технологии лежат в основе КИСУ, предназначенных для оперативной обработки данных. Называются подобные системы - OLTP (online transaction processing)системы;
· технологии, ориентированные на анализ данных и принятие решений. Эти технологии лежат в основе КИСУ, предназначенных для анализа накопленных данных. Называются подобные системы - OLAP(online analytical processing) системы.
Основное назначение OLAP-систем - динамический многомерный анализ исторических и текущих данных, стабильных во времени, анализ тенденций, моделирование и прогнозирование будущего. Такие системы, как правило, ориентированы на обработку произвольных, заранее не регламентированных запросов. В качестве основных характеристик этих систем можно отметить следующие:
|
|
|
· поддержка многомерного представления данных, равноправие всех измерений, независимость производительности от количества измерений;
· прозрачность для пользователя структуры, способов хранения и обработки данных;
· автоматическое отображение логической структуры данных во внешние системы;
· динамическая обработка разряженных матриц эффективным способом.
Термин OLAP является часто отождествляют с системами поддержки принятия решений (DSS (Decision Support Systems). А в качестве синонима термина «решения» используют Data Warehousing - хранилища (склады) данных, понимая под этим набор организационных решений, программных и аппаратных средств для обеспечения аналитиков информацией на основе данных из систем обработки транзакций нижнего уровня и других источников
“Склады данных” позволяют обрабатывать данные, накопленные за длительные периоды времени. Эти данные являются разнородными (и не обязательно структурированными). Для “складов данных” присущ многомерный характер запросов. Огромные объемы данных, сложность структуры как данных, так и запросов требует использования специальных методов доступа к информации.
|
|
|
В других источниках понятие Системы Поддержки Принятия Решений (СППР) считается более широким. Хранилища данных и средства оперативной аналитической обработки могут служить одними из компонентов архитектуры СППР.
OLAP всегда включает в себя интерактивную обработку запросов и последующий многопроходный анализ информации, который позволяет выявить разнообразные, не всегда очевидные, тенденции, наблюдающиеся в предметной области.
Иногда различают "OLAP в узком смысле" - это системы которые обеспечивают только выборку данных в различных разрезах, и "OLAP в широком смысле", или просто OLAP, включающей в себя:
- поддержку нескольких пользователей, редактирующих БД.
- функции моделирования, в том числе вычислительные механизмы получения производных результатов, а также агрегирования и объединения данных;
- прогнозирование, выявление тенденций и статистический анализ.
Каждый из этих типов систем требует специфической организации данных, а так же специальных программных средств, обеспечивающих эффективное выполнение стоящих задач.
|
|
|
OLAP-средства обеспечивают проведение анализа деловой информации по множеству параметров, таких как вид товара, географическое положение покупателя, время оформления сделки и продавец, каждый из которых допускает создание иерархии представлений. Так, для времени можно пользоваться годовыми, квартальными, месячными и даже недельными и дневными промежутками; географическое разбиение может проводиться по городам, штатам, регионам, странам или, если потребуется, по целым
полушариям.
OLAP-системы можно разбить на три класса.
1 класс. Наиболее сложными и дорогими из них являются основанные на патентованных технологиях серверы многомерных БД. Эти системы обеспечивают полный цикл OLAP-обработки и либо включают в себя, помимо серверного компонента, собственный интегрированный клиентский интерфейс, либо используют для анализа данных внешние программы работы с электронными таблицами. Продукты этого класса в наибольшей степени соответствуют условиям применения в рамках крупных информационных хранилищ. Для их обслуживания требуется целый штат сотрудников, занимающихся как установкой и сопровождением системы, так и формированием представлений данных для конечных пользователей. Обычно подобные пакеты довольно дороги. В качестве примеров продуктов этого класса можно привести систему Essbase корпорации Arbor Software, Express фирмы IRI (входящей теперь в состав Oracle), Lightship производства компании Pilot Software и др.
|
|
|
2 класс OLAP-систем - реляционные OLAP-системы (ROLAP). Здесь для хранения данных используются старые реляционные СУБД, а между БД и клиентским интерфейсом организуется определяемый администратором системы слой метаданных. Через этот промежуточный слой клиентский компонент может взаимодействовать с реляционной БД как с многомерной. Подобно средствам первого класса, ROLAP-системы хорошо приспособлены для работы с крупными информационными хранилищами, требуют значительных затрат обслуживания специалистами информационных подразделений и предусматривают работу в многопользовательском режиме. Среди продуктов этого типа - IQ/Vision корпорации IQ Software, DSS/Server и DSS/Agent фирмы MicroStrategy и DecisionSuite компании Information Advantage.
ROLAP-средства реализуют функции поддержки принятия решений в надстройке над реляционным процессором БД.
Такие программные продукты должны отвечать ряду требований, в частности:
- иметь мощный оптимизированный для OLAP генератор SQL-выражений, позволяющий применять многопроходные SQL-операторы SELECT и/или коррелированные подзапросы;
- обладать достаточно развитыми средствами для проведения нетривиальной обработки, обеспечивающей ранжирование, сравнительный анализ и вычисление процентных соотношений в рамках класса;
- генерирвать SQL-выражения, оптимизированные для целевой реляционной СУБД, включая поддержку доступных в ней расширений этого языка;
- предоставлять механизмы описания модели данных с помощью метаданных и давать возможность использовать эти метаданные для построения запросов в реальном масштабе времени;
- включать в себя механизм, позволяющий оценивать качество построения сводных таблиц с точки зрения скорости вычисления, желательно с накоплением статистики по их использованию.
3 класс OLAP-систем - инструменты генерации запросов и отчетов для настольных ПК, дополненные OLAP-функциями или интегрированные с внешними средствами, выполняющими такие функции. Эти весьма развитые системы осуществляют выборку данных из исходных источников, преобразуют их и помещают в динамическую многомерную БД, функционирующую на ПК конечного пользователя. Указанный подход, позволяющий обойтись как без дорогостоящего сервера многомерной БД, так и без сложного промежуточного слоя метаданных, необходимого для ROLAP-средств, обеспечивает в то же время достаточную эффективность анализа. Эти средства для настольных ПК лучше всего подходят для работы с небольшими, просто организованными БД. Потребность в квалифицированном обслуживании для них ниже, чем для других OLAP-систем, и примерно соответствует уровню обычных сред обработки запросов. В числе основных участников этого сектора рынка - компания Brio Technology со своей системой Brio Query Enterprise, Business Objects с одноименным продуктом и Cognos с PowerPlay.
OLTP-системы, являясь высокоэффективным средством реализации оперативной обработки, оказались мало пригодны для задач аналитической обработки. Это вызвано следующим:
1. средствами традиционных OLTP-систем можно построить аналитический отчет и даже прогноз любой сложности, но заранее регламентированный. Любой шаг в сторону, любое нерегламентированное требование конечного пользователя, как правило, требует знаний о структуре данных и достаточно высокой квалификации программиста;
2. многие необходимые для оперативных систем функциональные возможности являются избыточными для аналитических задач и в то же время могут не отражать предметной области. Для решения большинства аналитических задач требуется использование внешних специализированных инструментальных средств для анализа, прогнозирования и моделирования. Жесткая же структура баз не позволяет достичь приемлемой производительности в случае сложных выборок и сортировок и, следовательно, требует больших временных затрат для организации шлюзов.
3. в отличие от транзакционных, в аналитических системах не требуются и, соответственно, не предусматриваются развитые средства обеспечения целостности данных, их резервирования и восстановления. Это позволяет не только упростить сами средства реализации, но и снизить внутренние накладные расходы и, следовательно, повысить производительность при выборке данных.
Задачи, эффективно решаемые каждой из систем, определим на основе сравнительных характеристик OLTP- и OLAP-систем (табл. 1).
Таблица 1
Задач решаемых OLTP- и OLAP-системами
| Характеристика | OLTP | OLAP |
| Частота обновления данных | Высокая частота, небольшие "порции" | Малая частота, большие "порции" |
| Источники данных | В основном, внутренние | По отношению к аналитической системе, в основном, внешние |
| Возраст данных | Текущие (несколько месяцев) | Исторически (за годы) и прогнозируемые |
| Уровень агрегации данных | Детализированные данные | В основном агрегированные данные |
| Возможности аналитических операций | Регламентированные отчеты | Последовательность интерактивных очетов, динамическое изменение уровней агрегаций и срезов данных |
| Назначение системы | Фиксация, оперативный поиск и обработка данных, регламентированная аналитическая обработка | Работа с историческими данными, аналитическая обработка, прогнозирование, моделирование |
Таблица 2
Сравнение OLTP и OLAP
| Характеристика | OLTP | OLAP |
| Преобладающие операции | Ввод данных, поиск | Анализ данных |
| Характер запросов | Много простых транзакций | Сложные транзакции |
| Хранимые данные | Оперативные, детализированные | охватывающие большой период времени, агрегированные |
| Вид деятельности | Оперативная, тактическая | Аналитическая, стратегическая |
| Тип данных | Структурированные | Разнотипные |
Дата добавления: 2018-04-04; просмотров: 226; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!