Про выборы и принятие решений в портфеле проектов

"Что значит высокий риск проекта? - Ну, то и значит. - А в деньгах сколько это будет? - Риски в деньгах не считаются, их оценивают качественно, так говорит PMBOK. - Ну скажите автору PMBOK, что когда он пойдет страховать свою машину или здоровье, пусть в графе "Страховое покрытие" напишет "Среднее", посмотрим что ему скажет агент по страхованию."

Анекдот руководителей проектов

Отбор проектов в портфель обычно делается из рук вон плохо и иррационально. 

В 1984 году The Diebold Group собрала в Chicago Club CEO и CFO 40 крупнейших фирм - IBM, AT&T, Citibank и т.д. И топы поделились своими практиками принятия решения. Эти практики у всех были одинаковые - проекты, которые считались стратегическими, получали финансирование, остальным проектам его не давали. Возврат инвестиций, внутреннюю норму доходности и другие рациональные критерии принятия решения никто не учитывал. 
Прошло 35 лет, практики принятия решений ушли вперед. А мы сейчас находимся точно в таком же состоянии, как США 35 лет назад. Решения принимаются на чутье, без рационального обоснования.

Как отбирают проекты в портфель? Запрос "weighted scoring model used for project selection" выдает 41.100.000 результатов. Это популярный метод.
Список проектов-кандидатов оценивают по шкалам от 1 до 5:
- соответствие стратегии;
- риск реализации;
- трудоемкость;
- рентабельность;
- укомплектованность команды и т.п.

Шкалы с баллами называются ординарными, в противоположность метрическим шкалам с единицами измерения - метрами, килограммами, штуками. 

Проблемы с ординарными шкалами:
- Нелинейность. 4 балла не в 2 раза лучше 2 баллов, не так ли? А 5 баллов не в пять раз лучше 1 балла.
- Разница восприятия баллов между судьями. 30% риск потерять 1 миллион в течении 1 года это лучше или хуже 10% риска потерять 5 миллионов на горизонте 1,5 лет?
- Неадекватность скоринга. Допустим, у вас есть два проекта и вы оцениваете их по критериям "Рентабельность" с весом 50% и "Риск реализации" с весом 30%. Один проект принесет прибыль 10 млн., вы оцениваете его на 5 баллов по критерию "Рентабельность", при риске 50% потерять стоимость разработки 1 млн., который получает оценку 2 (прямая шкала). Второй проект приносит прибыль 1 млн., 3 балла по шкале "Рентабельность" при риске 10% потерять стоимость разработки 100 тыс., который вы оцениваете в 5 баллов. В итоговых баллах оценка первого проекта будет равна 0,5*5+0,3*2=2,5+0,6=3,1; для второго проекта оценка будет 0,5*3+0,3*5=1,5+1,5=3,0 балла.
Проект 1. 10 млн. прибыли при оценке риска 500 тыс.
Проект 2. 1 млн. прибыли при оценке риска 10 тыс.
Совершенно разные по профилю риска и прибыльности проекты получают одинаковые баллы.
Я уж не говорю о том, что хорошо просчитанная рентабельность проекта 17.2% превращается в непонятные 3 балла по шкале. Эти же 3 балла получает и проект с рентабельностью 11%, хотя финансовый результат у эти двух проектов будет принципиально разный.

По мнению Дугласа Хаббарда и по моим наблюдениям менеджеры осознают ущербность этой модели принятия решения и часто игнорируют результаты такого скоринга. У меня вообще создается такое ощущение, что во многих случаях с помощью скоринга оформляют уже принятые решения.

Выход из ситуации - сравнивать все в деньгах.
Что интересно, когда дело касается намного меньших сумм, мы принимаем решение гораздо рациональнее. Представьте, что вы покупаете подержанный автомобиль. Вам надо выбрать, какую из трех машин купить, какая инвестиция будет выгоднее других. Давайте разберемся, как вы это делаете. Обычно решение по покупке подержанного автомобиля производится в три шага.

Шаг 1. Разработка модели оценки.
Шаг 2. Получение (покупка) наиболее ценной информации.
Шаг 3. Экономически обоснованное принятие решения.

Шаг 1. Разработка модели оценки.
Учитывается состояние кузова, лакокрасочного покрытия, шин, износ багажника и салона, состояние сидений, наличие запахов, вмятины, повреждения, ржавчина под капотом, наличие VIN под крылом, трещины на шлангах, работа кондиционера, возраст и пробег автомобиля, история обслуживания, чистота масла. И ощущения от поездки, это один из ключевых элементов модели. Все эти параметры используются для построения модели принятия решения.
Шаг 2. Получение (покупка) наиболее ценной информации.
Параметры модели оцениваются, причем часто это делается в деньгах. Например, при осмотре автомобиля выяснилось, что стойки старые, и тогда в переговорах сразу появляется денежная оценка: "Смена стоек будет стоить 25 тысяч." Вообще, при покупке автомобиля почти никто не останавливается на оценках "низкий-средний-высокий", всегда переводят в деньги: "Скиньте 8 тысяч за обивку и кондиционер." Никого не останавливает сложность измерения параметров. Например, надо понять, а была ли машина в авариях, обязательно будет с пяток способов измерения вероятности того, что машину восстанавливали. Или вам надо оценить, а правда ли машину водили аккуратно, как говорят. В бизнесе, если вам надо измерить аналогичный параметр, его объявят неизмеряемым или оценят по шкале "высокий-средний-низкий" риск. При покупке автомобиля включается смекалка и какие-то численные оценки аккуратности водителя вы получите.
И обязательно тест-драйв. Никто не покупает машину без тест драйва. Это проект на 34 миллиона нормально по бумагам оценивать, а на машине за 400 тыс. - 1,5 млн. обязательно поездят.
Ключевой момент в этих измерениях в том, что все устраняют основную неопределенность, покупают самую ценную информацию, и дальше останавливаются. Если стало понятно, что одометр скручен, никто не пытается с точностью до километра восстановить реальный пробег, обычно устраивает точность +-8 тыс. км. Это в бизнесе будут сводить баланс с точностью до копейки, учитывать почасовые трудозатраты и одновременно мириться с неопределенностью в миллиарды в других частях деятельности, которые считаются "неизмеримыми".

В бизнес проектах больше всего усилий уходит на измерение величин, которые меньше всего снижают неопределенность. При этом самые ценные измерения чаще всего вообще не производятся.

Шаг 3. Экономически обоснованное принятие решения.
Все оценки сводятся в единую модель и каждый автомобиль оценивается в определенную сумму "справедливой цены". Выбор производится сравнением рублей с рублями, а не "высоких" рисков с "низкими" и "ощутимой" отдачи со "значительной". Решение принимается быстро и как правило оно неплохого качества. Лучше, чем большинство бизнес-решений.

Какой выход из этого положения? Подходить к отбору проектов так же, как мы подходим сейчас к покупке автомобиля или съему/покупке квартиры. Составлять модель принятия решения с учетом всех важных факторов. Измерять эти важные факторы, даже те, которые мы считаем неизмеримыми:

Считать экономическую стоимость варианта и сравнивать деньги с деньгами. И принимать рациональные решения, о которых не надо будет жалеть.

Помимо отбора проектов в портфель точно такая же проблема измерения встает когда надо построить панель показателей для какого-нибудь проекта или целого предприятия. Обычно применяют сбалансированную матрицу показателей Каплана (BSC, balanced score card). Этот подход ущербен и вот почему. Представьте, что перед вами стоят три подержанные машины. В первой вам не нравится ходовая, во второй вы сомневаетесь в электрике, в третьей сомнительный кузов. По корпоративным правилам вы должны будете сделать "честные одинаковые измерения по единой методике". Эти измерения будут либо излишними, т.к. два из трех параметров для каждой отдельно взятой машины измерять бесполезно, никакой новой информации вы не получите, либо недостаточными, т.к. вы не измерите то, что надо.

Нельзя сделать осмысленной единой для всех панели показателей. Деньги в разных проектах и разных ситуациях зарабатываются и тратятся по-разному.

Ну хорошо, подловили, есть пара параметров, измерять которые есть смысл всегда:

NPV, net present value, ЧДД, чистый дисконтированный доход. Стоимость всех доходов, приведенная с помощью ставки дисконта к моменту принятия решения. Типа "сколько стоят все деньги, которые мы получим, но вот если прямо сейчас"?

IRR, internal return rate, внутренняя норма доходности, ВНД. Типа "если бы мы положили деньги на депозит, то какой должна была бы быть ставка по нему, чтобы заработать столько же"?

Но не всегда эти модели финансовых показателей применимы. Например, надо принять решение нанимать или нет директора по развитию. Генеральный директор считает, что если нанять текущего кандидата, то есть 60% вероятность того, что он заработает дополнительно 10 млн. и 40% что придется потратить на его зарплату 1,75 млн. и не получить никакого результата.

Расчет ожидаемых потерь от неиспользованных возможностей (EOL, estimated loss of opportunity)

Т.е., если мы хотели нанять, предпочитаемый выбор А, то потерянная возможность для нас - это сэкономить на зарплате 1,75 млн. человеку, который все равно ничего не заработает с вероятностью 40%. Если мы хотели нанять, предпочитаемый выбор В, то потерянная возможность - это заработать 10 млн., которые бы новый человек принес бы в компанию с вероятностью 60%.

EOL1=700,000

EOL2=6,000,000

Это напрямую влияет на то, что надо проверять на испытательном сроке, пробном проекте или ставить в KPI директору по развитию. Допустим, мы хотим его нанять (вариант А). Тогда предельная цена измерения, стоимость риска, равна 700,000. Т.е., если бы вы точно знали, сможет он заработать деньги или вы зря тратите на него силы, то за эту информацию не стоило бы платить больше, чем 1,750,000*40%=700 тыс. И тогда перед бизнес-аналитиком стоит вопрос, что можно измерить не больше, чем за 700 тыс., чтобы снизить этот риск? А перед руководителем стоит вопрос, а как построить систему мотивации, чтобы не потерять эти 700 тыс. В действительности, хорошо бы еще и заработать, и потратить не 700 тыс., а 100, при этом снижать до нуля не обязательно, но хорошо бы быть уверенным на 90%. И тогда бизнес-аналитик может задать генеральному директору вопрос: "А почему есть 40% вероятность того, что директор провалится?" И можно услышать ответ, что успешность зависит от реального количества активных клиентов, с которыми знаком директор по развитию и от его процента конверсии. Тогда бизнес-аналитик может предложить простые способы уменьшения этой неопределенности. Например, директор по продажам показывает список номеров без имен своей клиентской базы, аналитик отбирает 20-30 случайных номеров и кандидат в присутствии генерального совершает звонки по этим номерам. Сразу устраняется неопределенность в размере клиентской базы (доверительный интервал при 20+ звонках больше 90%). А дальше берем кандидата на ГПХ и сажаем его на телефон на несколько дней или недель и смотрим конверсию продаж. Вот и вторая неопределенность устранена. Все это удовольствие стоит намного дешевле 700 тысяч, аналитик доказал свою полезность, а генеральный спокойно спит по ночам, зная, что нанял профессионала. Два показателя, которые измеряются за пару недель, а не за год с выплатой премии. Два показателя, четко отвечающие на вопрос, как они связаны с прибылью компании.

На следующий день к генеральному приходит маркетинговый директор и приносит предложение по маркетинговой кампании. Она оценивает, что кампания даст прирост в продажах до 20 тысяч единиц продукции (шанс 1:20, что не больше 20 тысяч). При этом минимальный прирост она оценивает в 1,500 (шанс 1:20, что не меньше). Другими словами, она на 90% уверена, что прирост продаж составит от 1,500 до 20,000 единиц. При этом, чтобы кампания принесла прибыль, нужно, чтобы прирост составил больше 10,000. Если прирост будет меньше 10,000, то из-за промоцены и затрат на рекламу компания будет терять по 500 на каждой проданной единице продукции. Директор по маркетингу на 100% уверена, что прирост продаж будет не больше 30,000, а сами продажи не упадут ниже текущего уровня из-за неудачной кампании.

Прирост продаж: от 1,500 до 20,000 с вероятностью 90%

Точка безубыточности: +10,000

Потери на единицу при продажах менее 10,000: 500

Генеральному директору надо принять решение о том, начинать такую кампанию или нет. Опять три шага - составить модель, провести измерения и принять экономически обоснованное решение.

Составляем модель экономической цены информации:

Получаем две оценки стоимости информации:

Стоимость информации по равномерному распределению 1,351,351

Стоимость информации для нормального распределения с 90% ДИ 794,755
Т.е., аналитик может обоснованно потратить несколько сот тысяч, чтобы найти информацию, которая снизит неопределенность решения. По факту, надо понять риски недобора продаж до 10 тыс. Если проект прибыльный, все остальное не так важно.

Допустим, он задает вопрос маркетинговому директору: "Почему такой широкий диапазон от 1,500 до 10,000? И как можно проверить, что мы продадим больше, чем 10,000?" Ответом может быть: "Это рыночная новинка и у нас нет истории продаж, мы не понимаем эластичности цены и скорости продаж. Если бы мы знали, то легко бы посчитали прибыльность проекта." И тогда бизнес-аналитик предлагает устроить ограниченную продажу новинки в нескольких магазинах, через Авито и Инстаграм каналы. Этот пилот обходится компании в 250 тыс. и сужает диапазон 90% уверенности до 9,000-20,000. Точка безубыточности из-за стоимости пилота повышается до 11,000, проект все еще может быть убыточным, но стоимость получения дополнительной информации уже мала, ничего нового мы не узнаем:

Поэтому генеральный директор принимает небольшой оставшийся риск и дает разрешение на проведение кампании. Аналитик доказал свою полезность, генеральный спит спокойно, зная, что деньги почти наверняка отобьются, а если и потеряем, то немного. В панели два показателя - скорость продаж и эластичность, которые напрямую связаны с прибылью компании. Измеряли мы их две недели, а не целый год, нам не нужны были доработки в ИТ-системах, заполнение отчетов, форм, финансовые аудиты и проверки.

Панель показателей должна проходить проверку на здравый смысл. 

Постоянно измерять и смотреть динамику есть смысл для очень небольшого числа показателей. Здесь хорошим примером может служить дашборд YouTube. Посмотрите, этой панели хватает для управления многомиллиоными бизнесами в различных сегментах, с разным продуктовым предложением, аудиториями, рынками, во всех странах мира. С чего бы у вас должно быть по другому?

И это то, чем занимается архитектура предприятия - в ходе ее выстраивания мы определяем показатели и методики измерения важных для принятия решений параметров. Решения должны быть экономически обоснованными, измерения должны быть оправданными и иметь практический смысл. Бестолку замерять капание воды с правого борта, если у вас пробоина 5 метров с другого борта.