Метрики SAFe: результаты, поток, компетенции

Перевод оригинальной статьи от SAFe.
Самое замечательное в решениях, основанных на фактах, в том, что они отменяют иерархию. — Джефф Безос.

Зачем нужны метрики
Метрики используются для оценки того, насколько хорошо организация продвигается к достижению бизнес- и технических целей на 3 уровнях: портфеля, программы (команды/ команд) и команды.
Для достижения эффективности и гибкости бизнеса организациям необходимо быстро реагировать на возникающие бизнес-возможности. Для этого необходимо повышать скорость и маневренность команд. А для этого лидерам, командам и заинтересованным лицам необходим способ:
  • надежного измерения текущего состояния и
  • выявления того, что и как можно улучшить.
Таким образом, выбор того, что и как измерять, является важнейшим фактором постоянного повышения эффективности бизнеса.
Цель гибкости бизнеса – быстро реагировать на изменения рынка и возникающие возможности с помощью инновационных бизнес-решений и цифровых технологий.
3+1 области метрик
Поток создания ценности показан на рис. 1. SAFe использует три области измерения: результаты, поток и компетенции. Вместе они дают полную, но простую модель для измерения прогресса в достижении гибкости бизнеса. Получаемая с их помощью информация способствует более эффективному принятию решений и помогает определить возможности для улучшения.
Рис. 1 Три области измерений SAFe поддерживают цель повышения гибкости бизнеса
Три области измерения SAFe определены так:
  • Результаты: Отвечают ли наши решения потребностям наших клиентов и бизнеса?
  • Поток: Насколько эффективна организация в предоставлении ценности клиенту?
  • Компетентность: Насколько хорошо организация владеет методами, обеспечивающими гибкость бизнеса?
Эти измерения применимы на каждом уровне организации: портфель, программа, команда. Они могут использоваться для измерений в рамках портфеля, программы (поезда решения, поезда релизов, ART) и отдельной Agile-команды.

Наборы конкретных показателей каждой из областей описаны ниже.
Рис. 2. Три области измерения применимы на всех уровнях SAFe организации
Измерение результатов (внешних и внутренних)
Измерение результатов (outcomes) помогает определить, приносят ли усилия организации желаемую выгоду бизнесу. Измеряться могут:
  • внешние вызовы, такие как увеличение выручки, удержание клиентов и др.,
  • внутренние, такие как вовлеченность сотрудников.
Далее будет рассмотрено измерение результатов с помощью:
  1. KPI
  2. OKR
  3. Цели итерации и Цели инкремента
  4. Вовлеченность сотрудников
KPI
На уровне портфеля результаты измеряются в первую очередь посредством определения ключевых показателей эффективности (КПЭ, KPI). Каждый KPI – конкретный и поддающийся количественной оценке показатель бизнес-результатов от потока создания ценности (VSM) в рамках этого портфеля. Показатели результатов такого рода, как правило, зависят от компании, контекста, бизнес-модели и типа предоставляемых заказчику решений. Например,
  • коэффициент конверсии клиентов может быть значимым показателем для электронной коммерции, но неприменим к производителю микрочипов.
  • Тогда как некоторые показатели могут быть успешно применены в разных контекстах, например, оценка Net Promoter Score.
Статья "Ключевые показатели эффективности потока создания ценности" содержит рекомендации по определению соответствующих КПЭ, основанных на Стратегических темах для конкретного портфеля SAFe. Примеры ключевых показателей эффективности приведены на рис. 3.
Таблица/рис. 3. КПЭ потока создания ценности, как правило, зависят от контекста
OKR
KPI ← Стратегические темы ← OKR
  1. KPI представляют собой текущие метрики «здоровья» для измерения общей эффективности бизнеса.
  2. При этом KPI частично зависят от стратегических тем портфеля.
  3. В свою очередь, стратегические темы сформулированы в формате OKR – определяют цели (Objectives) и ключевые результаты (Key Results), на достижение которых направлен портфель ради успеха в будущем.
Таким образом, ключевые результаты (KRs) формируют другой набор критически важных метрик, которые обычно измеряются ежеквартально, как показано на рис. 4 ниже.
Таблица/рис. 4. Ключевые результаты измеряются ежеквартально
В большом портфеле – отдельные OKR для каждого Value stream

В большом портфеле, состоящем из нескольких Потоков создания ценности (VS), может быть полезно создать для каждого потока отдельные OKR, согласованные со стратегическими темами портфеля.

В большом Value stream – отдельные OKR для каждой программы

В больших потоках создания ценности, состоящих из нескольких программ (поездов релизов, ART), этот процесс можно повторить – создать набор OKR, определяющих цели для каждой конкретной программы.
Такой подход позволяет сотрудникам на каждом уровне организации видеть прямое влияние своей работы на ключевые результаты (KR). Этот вариант подробнее описан в статье “OKR”.
Цели итерации и Цели инкремента
Команды и программы (команды команд, поезда релизов) могут использовать локальные метрики результатов:
  • цели итерации,
  • цели инкремента программы (PI Objectives).
Они гарантируют, что усилия сосредоточены на потребностях клиента и бизнеса, обеспечивают обратную связь о прогрессе в достижении бизнес-результатов, информируют о процессе определения приоритетов, упрощают приемку работы.
Вовлеченность сотрудников
Вовлеченность сотрудников измеряет степень, в которой люди чувствуют себя мотивированными и активно вовлеченными в поддержку достижения целей и ценностей организации. Более высокий уровень вовлеченности сотрудников приводит к более высокой эффективности, производительности и уровню инноваций. Верно и обратное – более низкий уровень вовлеченности сотрудников может привести к низкой мотивации и качеству работы, и высокой текучести кадров.
Существуют разные методы измерения вовлеченности сотрудников, и каждая организация должна определить, что подходит именно им. 
  • Некоторые организации будут использовать ежегодное исследование вовлеченности сотрудников.
  • Другие используют показатель Net Promoter Score сотрудников (eNPS), получая ответы по 10-балльной шкале на вопрос: «Насколько вероятно, что вы порекомендуете своего работодателя другим людями в качестве места работы?»
Какой бы подход ни был выбран, полученные данные должны использоваться для инициатив по повышению уровня вовлеченности сотрудников.

Выбор и настройка эффективных метрик результатов должны происходить в тесном сотрудничестве представителей портфелей и потоков создания ценности (VS) с бизнес-партнерами, поскольку именно они могут определить бизнес-выгоды, которые должны быть получены в результате инвестиций в решения.
Измерение потока
Поток – это показатель того, насколько эффективно организация создает ценность. Созданный Миком Керстеном Flow Framework предлагает 5 показателей для измерения различных аспектов потока [Kersten, Mik. Project to Product. IT Revolution Press, 2018]. SAFe добавляет в этот перечень шестую метрику – предсказуемость потока – для измерения достижения запланированных целей.
Рис. 5. Шесть метрик потока
Измерение компетентности
Достижение гибкости бизнеса требует значительного уровня знаний по 7 ключевым компетенциям SAFe. Каждая компетенция может приносить пользу независимо, однако они взаимозависимы в том смысле, что истинная гибкость бизнеса проявляется только тогда, когда компания достигает существенного уровня владения всеми семью.
Рис. 6 Семь ключевых компетенций SAFe
Измерение уровня организационной компетентности осуществляется с помощью 2 отдельных механизмов оценки, предназначенных для существенно разных аудиторий и целей:
  • Оценка гибкости бизнеса по всем 7 компетенциям.
  • Оценка каждой из 7 ключевых компетенций SAFe.
Механизм 1. Оценка гибкости бизнеса предназначена для заинтересованных лица от бизнеса и портфеля, чтобы они могли оценить свой общий прогресс в достижении конечной цели – истинной гибкости бизнеса.
Рис. 7. Оценка гибкости бизнеса по 7 компетенциям
Механизм 2. Оценки 7 ключевых компетенций SAFe предназначены для команд и программ (поездов релизов), чтобы им было понятнее, как улучшаться в части технических и бизнес-практик, необходимых для достижения портфелем более масштабной цели.
Для каждой компетенции – отдельная оценка. Для примера ниже показан результат оценки по компетенции “Agile уровня команд и техническая гибкость.” 
Рис. 8. Отчет по оценке ключевой компетенции “Agile уровня команды и техническая гибкость”
Каждая оценка проводится по стандартной схеме: сбор и анализ результатов, принятие мер, празднование успехов. Кроме того, возможен сравнительный анализ с конкурентами с помощью онлайн-инструментов оценки, доступных членам сообщества SAFe. Дополнительную информацию и доступ к оценкам можно найти в статье Measure & Grow.
Четыре критических фактора успеха метрик
Измерение эффективности организации – одна из наиболее чувствительных областей любого бизнеса, часто подверженная влиянию политики и различных дисфункций. Кроме того, поскольку измерение неизбежно включает в себя интерпретацию данных, оно подвержено когнитивным искажениям, коммуникационным проблемам и сбоям синхронизации. Все это приводит к рискам негативных последствий в любой системе метрик:
при неправильном внедрении некоторые измерения могут принести больше вреда, чем пользы.
  1. Используйте метрики в сочетании с другими инструментами прояснения ситуации.
  2. Применяйте метрики только там, где они помогают улучшать процесс принятия решений.
  3. Принимайте во внимание влияние метрик на изменение поведения людей и организации.
  4. Аккуратно интерпретируйте значения метрик.
Эти факторы успеха помогут направить компанию в сторону более эффективных метрик и, что более важно, в сторону лучших бизнес-результатов.
1. Используйте метрики в сочетании с другими инструментами прояснения ситуации 
Любая измерительная система, как бы хорошо она ни была спроектирована, дает лишь частичную картину реальности, и простое добавление дополнительных метрик не обязательно улучшает прозрачность. За каждым числом стоит история, и эта история часто содержит больше важной информации, чем может передать само число. Мощным инструментом, который можно использовать в сочетании с метриками, является Gemba – непосредственное, прямое наблюдение за реальной средой: где ценность создается и где она используется потребителем. Формальные измерения и неформальные наблюдения усиливают друг друга. А если использовать их изолированно, то "управление только по цифрами" может привести к неважных результатам и понизить моральный дух сотрудников.
2. Применяйте метрики только там, где они помогают улучшать процесс принятия решений
Распространенная ловушка, в которую можно попасть при применении метрик – слишком большое количество метрик. В нее попадают из-за боязни измерить недостаточно. Хотя многие показатели могут быть автоматизированы, по мере увеличения количества показателей и частоты измерений возрастут и усилия, необходимые для сбора и анализа данных.

При рассмотрении вопроса о том, следует ли включать дополнительную метрику в вашу систему измерений, будем полезным задать вопросы:
  • Какие решения поможет принять эта новая метрика?
  • Для принятия этих решений существующих метрик недостаточно?
Если новая метрика помогает лучше принимать решения, то она – кандидат на добавление в систему метрик. Если нет – оставьте ее.

Еще один полезный уточняющий вопрос:
  • Нужно ли нам измерять это прямо сейчас?
В этом вопросе признается тот факт, что используемые метрики будут и должны со временем меняться, поскольку и принимаемые решения меняются на протяжении всего процесса разработки.
3. Принимайте во внимание влияние метрик на поведение
В позитивной культуре работниками умственного труда движет внутренняя мотивация предлагать выигрышные решения, использовать свою экспертизу, работать целеустремленно и автономно.
Однако, когда слишком много внимания уделяется конкретному числовому показателю, и когда этот показатель напрямую связан с компенсацией или возможностями карьерного роста, тогда не создание эффективных решений, а достижение этого показателя становится целью.

Кроме того, стремление преуспеть в этом часто приводит к неправильному использованию метрик. Например, эффективность потока может использоваться не для выявления системных проблем, требующих решения, а чтобы возложить вину за пропущенную дату поставки на конкретную команду или программу (поезд релизов), в работе которой произошла задержка. Возможно, первопричиной была нехватка ресурсов или изменение приоритетов, которые находились вне зоны контроля.

В любом случае, SAFe-ценности прозрачности и согласованности призваны обеспечивать хорошую основу для эффективной системы метрик наряду с созданием среды, в которой факты всегда доброжелательны.
4. Аккуратно интерпретируйте значения метрик
Простого сбора конкретных метрик недостаточно. Если интерпретировать значение показателя без надлежащего понимания, он может ввести в заблуждение. Например, при измерении времени потока элементами работы должны быть актуальные, ценные фичи (истории и пр.), которые приносят пользу бизнесу. В противном случае релизный поезд может сообщать об улучшениях потока работы, но при этом не поставлять никакой реальной ценности.
Подойдет ли вам?
Напишите нам, мы с вами свяжемся и подскажем, насколько такой подход применим в вашей ситуации.
Возможно будет интересно
Перевод
Автор перевода
Дмитрий Блинов
Тренер
Консультант по Agile, управлению проектами и soft skills