helios3 (helios3) wrote,
helios3
helios3

О вреде промежуточных показателей.

Промежуточные показатели

Настоящие успехи и неудачи отличаются от иллюзорных, в частности, тем, что их можно измерить. Всегда существует некие критерии, обратившись к которым можно определить, улучшилась ситуация, или же стала хуже. Эти критерии не обязаны быть количественными, но они всегда будут четко измеримыми. Возможны показатели триггерного типа: допустим, человек может иметь диплом о высшем образовании, а может не иметь. Можно также ввести относительные показатели. Например, человек близок к выполнению задачи на 60%. Можно просто измерять количество. Скажем, при изучении иностранного языка важным показателем является количество слов в пассивном и активном словарном запасе.

Следует признать, что большинство реальных процессов, с которыми мы имеем дело, довольно сложны. Не в том смысле, что нам трудно с ними работать, а в том смысле, что такой процесс имеет сложную структуру, составленную из множества менее сложных. Нередки также неочевидные связи между различными сторонами одного и того же процесса. Зачастую, мы не можем сказать заранее, как воздействие на тот или иной входной параметр изменит окончательный результат.

Однако, окончательные результаты всё же существуют. И начинать любую деятельность хорошо бы именно с выделения конечных параметров успеха и неуспеха. В бизнесе таким параметром будет доход. В изучении языка - получение запланированной пользы от его знания. И так далее. И вот тут мы приходим к такой группе процессов, в которых окончательный параметр на первый взгляд не очевиден. Он может быть не очевидным и на второй и на третий взгляд. Вплоть до того, что многие люди смогут заниматься данным процессом годами, так и не поняв, чего именно они добиваются. То есть, в теории они это понимают, так как ответ лежит на поверхности. Но на практике им совершенно не ясно, как увязать с этим ответом их реальную деятельность.

В таких случаях принято вводить промежуточные показатели. Если существует статистически значимая зависимость между каким-то промежуточным и окончательным показателем, можно, казалось бы, уже не обращать внимания на окончательный. А заниматься тем, что получается, заранее зная, что конечный результат придет сам собой. Действительно, чем больше слов мы будем знать из того или иного языка, тем больше вероятность того, что мы поймем собеседника. А чем лучше семестровые результаты у студента, тем больше вероятность, что он успешно получит диплом. Такой подход, сам по себе, не является проблемой. Проблема возникает там, где промежуточными показателями заменяются окончательные. И где, при этом, обрубается всякая обратная связь, идущая от конечного результата.

Продемонстрировать суть этого подхода очень легко на примере интернет-рекламы. Я много лет ей занимаюсь, имею множество благодарных клиентов, а потому, знаю, о чем говорю. Возьмем, например, контекстную рекламу. Директ там, Adwords, вот это всё. Как и у любой другой рекламы, у неё будет два окончательных показателя: размер получаемого с её помощью потока клиентов и стоимость каждого из этих клиентов. Со стоимостью всё понятно, чем она ниже, тем лучше. Если клиент стоит дешево, в стоимость товара или услуги можно включать меньшую долю рекламных расходов. Благодаря чему можно, на выбор, увеличить доход (окончательный параметр уже не рекламы, а бизнеса в целом) или уменьшить стоимость, получив тем самым конкурентное преимущество. Что касается потока, тут всё несколько сложнее.

Каждый из моих клиентов в начале сотрудничества обязательно говорил мне, что хочет как можно больший поток клиентов. На практике же неоднократно возникала ситуация, когда поток перекрывал имеющиеся у бизнеса мощности в разы или даже десятки раз. Такое событие прекрасно, когда путь к нему постепенен. Но когда толпа у дверей возникает за пару дней, многие теряются. Возникают очереди, появляется множество недовольных. Реноме фирмы терпит урон. В итоге толпа уходит, причем зачастую уже навсегда. И путь наверх оказывается, если и не закрыт, то очень затруднен, по сравнению с изначальной ситуацией. А потому конечным показателем для потока будет не его размер, как таковой, а близость этого размера к оптимальному значению. Хотя это до сих пор понимают далеко не все. Даже после подробных объяснений.

Но я отвлекся. Работа с контекстной рекламой, усложняясь год от года, уже успела вырасти в отдельную профессию. Её представителей обычно называют директологами, хотя они, разумеется, работают не только с Директом, но и вообще с любыми контекстными площадками. Директолог должен быть в курсе постоянно меняющейся ситуации и довольно часто меняющихся правил игры на этом поле. Площадки непрестанно оптимизируют алгоритмы работы с рекламодателями, причем в сторону повышения выручки с последних. Из-за постоянно усложняющихся процессов конечный рекламный результат бывает настолько удален от директолога, что тот вообще не будет понимать, какими действиями следует его добиваться. Снизится ли стоимость клиента, если в рекламную кампанию добавить вот эти ключи? А неизвестно. У сферического в вакууме директолога будет набор готовых методик в арсенале, он может применять их на выбор и комбинировать между собой, но не более того.

А любая методика нуждается в инструментах оценки эффективности. Причем, если методика растиражирована, то оценку необходимо максимально формализировать. А раз так, то конечный параметр - цена клиента - ей не подходит. Тем более, что этот показатель может быть искажен. Нередки ситуации, когда рекламодатель, не успевающий отвечать на звонки, постоянно ноет своему директологу, что всё плохо и телефон молчит как партизан из советского мифа. Ну, есть у них такое поверье, что если так делать, директолог будет работать лучше. Это нельзя объяснить, это момент больше религиозного, чем рационального характера.

И вот составители казуальных методик вводят показатель, который бесконечно далек от окончательного, но статистически с ним коррелирует при (!) применении данной методики. Для большинства методик таким показателем будет CTR. Кто не в курсе, это количество кликов по объявлению, деленное на количество показов оного. На первый взгляд, этот показатель вообще ничего общего не имеет с конечными целями. Но в силу некоторых особенностей общепринятых методик, корреляция с реальной эффективностью кампании у него всё же есть. И хорошая такая корреляция.

А потому, хорошим директологом считается тот, у кого в кампаниях хорошие показатели CTR. И вот тут происходит подмена, о которой я писал выше. При оценке работы директолога очень часто вообще не учитывается принесенная им прибыль. Ну, та, которая прямо вытекает из стоимости клиента. Зачем её учитывать, если есть CTR? И так всё понятно.

Но методики, что очевидно, бывают общепринятые, а бывают всякие другие. Некоторые из них, в частности, моя, дают весьма хорошие показатели стоимости клиента при совершенно смешных по меркам профессии показателям CTR. Просто убедить сведущего человека в том, что такое возможно, бывает весьма затруднительно. Возникает дурацкая ситуация - при более высоких реальных показателях я имею менее высокие профессиональные. Ну нету у меня кейсов с высоким CTR. Точнее, есть один (там эти показатели случайно совпали), но этого мало. А раз так, то и похвастаться мне нечем. Подумаешь, поднял пару десятков бизнесов исключительно за счет контекста. Показатели-то слабенькие. Так себе специалист.

Та же проблема касается множества областей человеческой деятельности. Вы замечали, как часто крупные транснациональный компании показывают годовой убыток в отчетности? Казалось бы, полный бред. Бизнес - это способ получения прибыли. Хороший бизнес растет в размерах. Следовательно до максимальных размеров дорастают лучшие из лучших. А они в этом году не лучшие. Они теперь вообще не бизнес, а кружок по интересам. Потому что бизнес должен приносить деньги, а эта компания их тратит. Безумие, не иначе. Я когда читал недавно заметку о банкротстве Penthouse, не уставал удивляться. Компания была убыточна с 2006 года. Они более шести лет вели бизнес, который не приносил деньги, а забирал их! Это всё равно, что ходить на работу и ещё доплачивать за это право. Почему же такие истории случаются постоянно и никого уже не удивляют?

А проблема как раз-таки в промежуточных показателях. Руководство компании-гиганта, одного из лидеров индустрии, склонно волшебным образом забывать о прибыли. Это словно становится не важным. А важными оказываются другие показатели. Например, доля рынка. Надо же конкурента вытеснить! Топ-менеджерам, в совершенстве владеющим казуальными методиками управления, и в голову не приходит, что конкурента вытеснять не надо. То есть, надо, конечно, но это не самоцель. Его бывает надо вытеснить с целью увеличения собственной прибыли. Но нет. Было у компании 20% рынка и годовая прибыль, я не знаю, миллиард, а стало 40% и прибыль в полмиллиарда. Победа. Все дружно аплодируют новым завоеваниям. Сейчас вот пояса потуже затянут и дальше будут аплодировать.

Пора подходить к сути, пока у меня окно ввода не порвалось. Промежуточные показатели бывают крайне полезными, если использовать их для упрощения расчетов или лучшего понимания чересчур сложных процессов. Но они, как и любые показатели, имеют границы применимости. И вот конкретно они имеют очень узкие границы. Промежуточные показатели имеют практический смысл только на тех отрезках, на которых они не входят в противоречие с показателями окончательными. Если следовать этому правилу, всё будет отлично. Поэтому, мой пост следовало озаглавить по-другому "О вреде неправильного использования промежуточных показателей". Но я уже не буду ничего исправлять. И, благодаря этому, сэкономлю дополнительных денег на амортизации клавиши BackSpace.

Subscribe

promo helios3 march 12, 2014 13:22 2
Buy for 100 tokens
Это программный пост, я давно хотел его написать. Я знаю, что многим из вас не нравится реклама в жж, но должен сказать, что я этого мнения не разделяю. Я убежден, что любая деятельность, которую можно монетизировать, должна монетизироваться, ведь это самый эффективный способ сделать её лучше и…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 30 comments