Сбалансированная карта показателей помогает наглядно отобразить прогресс в достижении различных целей, характеризуемых произвольным набором метрик

Лекция Измерения в ITIL

ИЗМЕРЕНИЕ И МЕТРИКИ

• Измерение — выраженное в количественных величинах сокращение неопределённости на основании одного или нескольких наблюдений3;

• Метрика — технически или процедурно измеряемая величина, характеризующая объект управления.

МЕТРИКИ ДЛЯ ИЗМЕРЕНИЯ ПРОЦЕССОВ

Эффективность здесь означает, что:

• информационные технологии формируют ценность для заказчиков (приносят пользу, повышая производительность бизнес-процессов и/или снижая действующие на эти процессы ограничения);

• затраты на информационные технологии рациональны и контролируются;

• риски, связанные с использованием информационных технологий, также контролируются и сведены к приемлемому уровню.

Для обеспечения максимальной эффективности с учётом меняющихся требований, влияния среды и других факторов ИТ-менеджеры должны выполнять оценку процессов и корректировку их работы. Это означает, что менеджерам необходимо быть уверенными в том, что процессы, за которые они отвечают, функционируют оптимально, а при необходимости — вовремя идентифицировать отклонения в работе процессов и инициировать корректирующие действия.

В свою очередь руководители, курирующие систему управления информационными технологиями со стороны высшего руководства организации или инвесторов (то есть лиц, заинтересованных в эффективном применении ИТ), хотят быть уверенными в том, что действующая система управления ИТ решает поставленные перед ней задачи.

Инвесторов, заказчиков, высшее ИТ-руководство, внешних регуляторов интересует:

• в какой степени система управления ИТ решает поставленные задачи (результативность / effectiveness);

• предусмотрены ли и как действуют управленческие механизмы, обеспечивающие должный уровень контроля системы

и её изменение в ответ на новые требования (соответствие / compliance).

Т-менеджеров интересует текущее состояние процессов с точки зрения:

• содержания и результатов деятельности, а также объёма работ (продуктивность / productivity);

• рациональности использования ресурсов (рациональность / eﬃciency).

Рисунок 1. Структура системы измерения и оценки процессов

Метрики результативности

Результативность показывает, насколько данный процесс (или группа взаимосвязанных процессов) соответствует своему назначению, а также достигает поставленных целей. Назначение определяет роль процесса в системе управления, то есть ответ на вопрос «зачем нужен этот процесс, за что он отвечает».

Назначение процесса, как правило, более-менее универсально, то есть мало меняется от компании к компании. При этом помимо назначения, определяемого на этапе проектирования системы управления, у каждого управляемого процесса должны быть определены цели. Цель процесса определяет, что должен обеспечить процесс в некоторый фиксированный отрезок времени (квартал, полугодие, год). Цели должны соответствовать критериям SMART (specific, measurable, achievable, relevant, time-bound) – быть конкретными, измеримыми, достижимыми, актуальными и ограниченными во времени.

В отличие от назначения, цели процесса не только могут, но и должны регулярно верифицироваться и пересматриваться, за что отвечает владелец процесса. По этой причине невозможно ни сформулировать универсальные цели процесса, ни предложить соответствующие им универсальные метрики. Впрочем, нередко цели, которые ставит перед процессом его владелец, могут быть сведены к более полной реализации тех или иных ключевых практик процесса, для которых можно определить универсальные метрики.

Метрики рациональности

Результативность процессов обеспечивается за счёт использования ресурсов организации, расходуемых на исполнение процессов и обеспечение управления. Практики — как специализированные, так и универсальные — используют информацию, приложения, инфраструктуру и персонал.

Метрики рациональности характеризуют количество ошибок, возникающих при исполнении процесса, а также использование тех или иных механизмов сокращения затрат. Основной принцип обеспечения и оценки рациональности системы управления можно сформулировать так: стоимость владения системой управления и её контроля не должна

превышать ценности, формируемой в результате функционирования этой системы с учётом контролируемых рисков.

Многие метрики рациональности можно определить только в ходе проектирования процесса в конкретной организации и последующего управления его работой (например, доля обращений, полностью обработанных с помощью систем самообслуживания пользователей). Это связано в первую очередь с тем, что в процесс включаются практики и инструменты, призванные оптимизировать использование ресурсов (самообслуживание пользователей, базы типовых решений, интеграция со смежными информационными системами и так далее). Описать все возможные метрики этого типа в книге невозможно, как невозможно описать все возможные практики управления ИТ-услугами.

Метрики продуктивности

Метрики продуктивности характеризуют объём работ по исполнению и контролю процесса. Это очень важный фактор и на этапе проектирования, и на этапе исполнения процесса. Например, при проектировании процесса управления изменениями важно понимать, какой поток изменений ожидается, прежде чем записать в регламент процесса «Все изменения рассматриваются на CAB (Change Advisory Board, комитет по управлению изменениями)». На этапе исполнения процесса изменение входного потока может влиять на показатели результативности, рациональности и степени соответствия процесса. Например, увеличение по- тока инцидентов с 8 000 до 15 000 в месяц (за счёт неудачного внедрения новой ИТ-системы) может существенно снизить значение метрики результативности «Среднее время устранения инцидентов».

Метрики соответствия

Наконец, метрики соответствия, интересующие, прежде всего, внешних по отношению к процессу заинтересованных лиц, также нередко вклю- чают в себя оценку реализации назначения и ключевых практик процес- са. СПОСОБЫ ИЗМЕРЕНИЯ

расчёт по данным учётных систем и средств мониторинга и опросы потребителей Традиционно считается, что использование данных автоматизирован- ных систем управления позволяет получать объективную информацию о работе процессов, в то время как опросы и экспертная оценка более субъективны. Однако, во-первых, данные в системах учёта (например, время окончания работ над инцидентом или даже время возникновения инцидента) нередко вводятся вручную и точны настолько, насколько дисциплинированы исполнители и удобны процедуры учёта. А, во-вторых, существуют весьма важные метрики, значения которых можно по- лучить только опросом участников процессов или потребителей услуг.

Они могут восприниматься как более субъективные, но иногда именно эта субъективность и ценна. Например, точка зрения потребителя является важным аспектом управления качеством. Борьба за повышение качества в целом, а тем более качества услуг, без учёта точки зрения потребителя невозможна, поскольку противоречит определению качества. Частным случаем применения этого утверждения является качество информации, предоставляемой участникам процессов управления ИТ-услугами используемыми в этих процессах информационными системами, например, системой управления конфигурациями. Поэтому метрики, основанные на опросе потребителей информации и пользователей услуг, используются нами во многих процессах

KEY PERFORMANCE INDICATORS (KPI)

Ключевой показатель (KPI) — это метрика, которая используется для оценки состояния объекта управления. При этом важно, что метрика сама по себе не может являться или не являться KPI — она может использоваться в таком качестве, если ей сопоставлены соответствующие критерии оценки.

Чтобы оценить работу процесса управления инцидентами, может быть полезным знать значения нескольких метрик:

Но «полезно» не означает «достаточно». Чего же не хватает каждой из этих метрик, чтобы мы смогли использовать их для оценки процесса в терминах «хорошо/плохо»?

В первую очередь — целевых значений. Действительно, каково должно быть

«правильное» значение, скажем, среднего времени решения инцидентов? Ответ для каждой ситуации может быть свой и должен быть определён при планировании и совершенствовании процесса, но в отсутствие целевого значения метрика остаётся средством измерения и не становится средством оценки практика показывает, что полезно также установить и граничное значение метрики — ту границу, при выходе за которую мы сочтём процесс работающим неудовлетворительно. Например, для метрики «доля инцидентов, решённых на первой линии поддержки» целевым может являться значение 50%, граничным — 20%. Это означает, что при достижении значения в 50% (или выше) и поддержании его на этом уровне процесс достигает каких-то из поставленных перед ним целей, работает «правильно». Напротив, если значение метрики постоянно оказывается ниже 20%, это говорит о необходимости корректирующих действий, требует внимания менеджера процесса и других его участников. Если же значение этой метрики «плавает» между 20% и 50%, это может оцениваться как «удовлетворительно», требовать анализа динамики, учёта связанных показателей и так далее.

Рисунок 3. Пример 1 сбалансированной карты показателей

Представленный пример показывает, как сбалансированная карта показателей помогает наглядно отобразить прогресс в достижении различных целей, характеризуемых произвольным набором метрик.

Сбалансированная карта показателей помогает наглядно отобразить прогресс в достижении различных целей, характеризуемых произвольным набором метрик.

Однако пока наша карта показателей не даёт ответ на вопрос об интегральной (итоговой) оценке. В самом деле, метрика 1 — в зелёной зоне, метрики 2 и 3 — в жёлтой. Но каков общий вывод? Хорошо или плохо мы отработали за истекший период и, что ещё менее очевидно, насколько хорошо или плохо? Нас нужно наказывать или пора поощрять? Мы пора- ботали лучше или хуже, чем в прошлом месяце? Наши результаты лучше или хуже, чем у «соседей»?

Для ответа на эти вопросы в сбалансированной карте показателей со- держится итоговая оценка. Для её расчёта необходимо определиться с алгоритмом агрегирования отдельных KPI в интегральный показатель, который может быть представлен руководству без лишней детализации, одним светофором. Существует несколько таких алгоритмов.

Наиболее традиционный — взвешенное среднее арифметическое:

где Ri— оценка по i-тому показателю, рассчитываемая по формулам (1)-(2),

Wi— вес i-того показателя.

Однако, как и другие средние, данный показатель имеет свойство скры- вать отдельные провалы, особенно если количество показателей велико. Кроме того, такой алгоритм агрегирования требует особого правила опре- деления цвета интегрального показателя, поскольку применение того же правила, что и к отдельным метрикам (зелёный — 100%, красный — 0%, жёлтый — промежуточные значения) никогда не даст красного цвета, если по крайней мере одна из метрик хоть немного выше ноля.

в некоторых случаях усреднение — не лучший выбор. Вместо него можно использовать следующий алгоритм

Произведение гораздо чувствительнее к отдельным провалам, чем сумма. В частности, если хотя бы одна оценка в сбалансированной карте показа- телей равна 0%, интегральный показатель также будет равен 0%. Поэтому такой алгоритм даёт более адекватную оценку, когда успехи в одном из направлений теряют ценность при наличии серьёзных провалов в других.

Агрегирование показателей методом произведения даёт более адекватную оценку, когда успехи в одном из направлений теряют ценность при наличии серьёзных провалов в других.

Поясним эту мысль на примере. Библиотека ITIL третьей версии описывает ценность услуги как производную двух факторов — пользы, которую эта ус- луга приносит потребителю (utility), и гарантии возможности потребления данной услуги (warranty). Представим ценность некоторой услуги в виде интегральной оценки, значение которой рассчитывается на основании двух показателей – Полезности и Гарантии. Расчёт ценности для потребителя методом усреднения позволяет получить результат 50%, если услуга чрезвычайно полезна (Полезность = 100%), но потребителю абсолютно недоступна (Гарантия = 0%). Например, организация путешествий в прошлое. Тот же результат будет в случае, когда услуга гарантирована (Гарантия = 100%), но никакой пользы для потребителя не несёт (Полезность = 0%). Например, банковские депозиты при отсутствии свободных денежных средств. Как вы думаете, насколько справедливо утверждение о том, что ценность таких ус- луг для потребителя составляет 50%? Если же для расчёта интегрального показателя используется перемножение, то в обоих рассмотренных примерах итоговый результат будет справедливо равен 0%.

Другой пример использования умножения — расчёт интегрального показателя на основе сопряжённых метрик (tension-metrics). Метрики A и B называются сопряжёнными, если улучшение значения метрики A может оказывать негативное влияние на значение метрики B, и наоборот. Такие ситуации довольно часто встречаются на практике. Например, своевременность и качество реализации изменений или сроки, содержание и стоимость проектов, и так далее. При расчёте интегральных показателей на основе сопряжённых метрик алгоритм умножения также даёт более адекватный результат, чем среднее арифметическое.

Кроме того, использование перемножения позволяет определять цвет ин- тегрального показателя так же, как отдельных оценок. При этом зелёный цвет будет означать 100% (все индивидуальные оценки в зелёной зоне), красный — 0% (хотя бы одна из оценок в красной зоне), жёлтый — проме- жуточные значения.

Теперь мы можем завершить пример с нашей сбалансированной картой показателей, рассчитав итоговую оценку деятельности за период:

Рисунок 4. Пример 2 сбалансированной карты показателей

Но расчёт итоговой оценки методом перемножения нужно применять с осторожностью. Например, предположим, что в сбалансированную карту показателей некоторого отдела включено три метрики: качество поддержки пользователей, качество реализации изменений и доступность ключе- вой ИТ-системы. Расчёт интегральной оценки методом умножения даст результат 0%, если с поддержкой пользователей и реализацией изменений все отлично, но из-за крупного отказа случился «пробой» показателя до- ступности системы. Такая оценка может оказать демотивирующий эффект, поскольку при наличии нарушений по доступности ни успехи, ни провалы в поддержке пользователей и реализации изменений на итоговый результат уже не оказывают никакого влияния.

Необходимо также иметь в виду, что оба алгоритма расчёта итоговой оценки, представленные в данном разделе, неплохо работают только на небольшом наборе показателей — до 5-8 штук. Поэтому если вам требуется включить в карту больше показателей, их рекомендуется структурировать в виде нескольких групп. Тогда сначала рассчитываются итоговые оценки групп по индивидуальным показателям, а затем рассчитывается общий

Результат за период по итоговым показателям отдельных групп. При этом для расчёта итоговых оценок в пределах групп и между группами могут использоваться разные алгоритмы агрегирования.

На практике в сбалансированную карту показателей по каждой метрике также включают результат за предыдущий отчётный период, чтобы наглядно представить, каких улучшений мы смогли (или не смогли) добиться. А под таблицей удобно расположить график, который показывает итоговую оценку в динамике за несколько последних периодов.

Дата добавления: 2018-02-28; просмотров: 343; Мы поможем в написании вашей работы!

Поделиться с друзьями:

12 Следующая ⇒

Мы поможем в написании ваших работ!