Как оценить эффективность стратегии?

Сравнение эффективности стратегий

Экстраполяция тенденций 1880-х годов
показала бы,
что к нашему времени
города будут погребены
под грудами лошадиного навоза.

Норман Макрей, англ. писатель

Если цифры непонятны – это математика.
Если они бессмысленны – это экономика.
“Краткий определитель наук”

И в долгосрочной и краткосрочной перспективе необходимо управлять своими финансами. С этим легко справится Family.

Итак, “4 дурня” провалились. Но еще в самом начале эксперимента раздавались голоса: “результаты за 1 год, 2 года… – еще не доказательство!” А ведь тогда “4 дурня” значительно обгоняли индекс. Самое интересное, что эти критики были тогда абсолютно правы.

На форуме “Вокруг да около” (очень рекомендую) развернулась очень интересная дискуссия между Сергеем Спириным и другими пользователями на тему того, как узнать, работает ли какая-то стратегия или нет. Процитирую Сергея Спирина:

“Для каждого явления (например, “четыре дурня на каком-то отдельно взятом периоде обгоняли индекс”) может существовать несколько объяснений-гипотез. Например, одна гипотеза – “это потому, что четыре дурня – гениальная стратегия, и так будет всегда”. Вторая, альтернативная гипотеза – “это была случайность, и дальше такого не будет”.

Для того, чтобы была возможность установить, какая из гипотез верна, эксперимент должен проводиться на достаточном количестве данных, на статистически значимой выборке. Есть математические методы, позволяющие установить, какой должна быть эта выборка, чтобы подтвердить интересующую вас гипотезу.”

Именно этим вызывается нежелание признавать мой эксперимент, как доказательство эффективности стратегии “4 дурня”. И Спирин совершенно прав. Многочисленные “подтверждения гениальности” трейдеров и управляющих ПАММ-счетов, основанные на результатах максимум за пару лет, можно с легким сердцем выкинуть на свалку. В самом деле, проверка эффективности стратегии должна определяться на репрезентативной выборке результатов. Это аксиома.

А дальше начинаются чудеса. Вместо репрезентативной выборки нам предлагают ориентироваться на долгосрочные результаты. Например, за 10 лет стратегия Х обогнала рынок. Индекс вырос на 150% за это время, а стратегия показала результат 230%. И, вроде бы, все верно – и долгий срок (10 лет – это вам не один год), и итоговый результат выше. Стратегия работает!

Увы, подобное “доказательство” демонстрирует низкий, если не сказать нулевой, уровень математических познаний наших финансовых консультантов, экономистов и т.п. Результат за 10-20-30 лет не является выборкой. Это один (всего один!) результат. Если 6 результатов дивидендной стратегии не являются доказательством ее эффективности (а они не являются), то один результат (пусть и на 10-летнем промежутке) тем более доказательством не будет.

Принято считать, что для оценки эффективности инвестиционной стратегии нужно взять период побольше. 10 лет мало? Возьмем 20, 30, 50, 100… Выборку подменяют долгосрочным периодом, что приводит к неверным решениям.

Пример оценки стратегии
на долгосрочном периоде

Давайте предположим, что фондовый индекс равномерно рос на протяжении 10 лет. Каждый год +15%. По формуле сложного процента посчитаем, что общая доходность индекса составила 305%. Очень неплохо.

Но одна стратегия за эти же 10 лет увеличила портфель на 372%. Принципы стратегии открыты, проверка показала, что действительно 372%. Финансовые консультанты наперебой принялись рекомендовать ее клиентам, трейдеры бросились торговать по новым алгоритмам. Кому не хочется воспользоваться стратегией, которая на “хорошей выборке” в 10 лет показала такие замечательные результаты.

Но тщательная проверка результатов стратегии по годам показала удивительную картину: почти во все годы стратегия показала результат 10% годовых и только в одном случае (на втором году периода) выстрелила – 100% годовых. Любому ясно, что стратегия, проигравшая индексу в 9 случаях из 10 не может быть эффективной. Но когда вам демонстрируют долгосрочные результат доходности за 10-20-30 лет, подобные явления скрыты от ваших глаз.

Очевидно, что именно этот один случайный результат и определил “долгосрочный успех стратегии”. Достаточно взять другой период, куда не входит этот суперуспешный год, и стратегия займет свое положенное место.

Отступление 1. Конечный результат не зависит от того, в каком именно году был “взлет”. 100% в первый год работы или в последний – итоговый результат за 10 лет останется неизменным. Можете сами проверить.

Отступление 2. Однажды на блоге я уже разбирал подобный случай с реальной стратегией и на реальных данных. Если гипотетический пример вам непонятен, найдите ту статью, и особенно внимательно перечитайте ее и комментарии к ней.

Из этого примера сразу становится ясно, что замечательные графики роста фондового рынка США, например, на периоде 50-100 лет никак не помогут нам определиться со своей стратегией инвестирования. Долгосрочный период – это не выборка, во-первых. А во-вторых, что толку мне от того, что фондовый рынок за 100 лет вырос на Х процентов? Я столько точно не проживу. Эти факты годятся лишь в качестве развлечения для ума, но их практическая ценность стремится к нулю.

Оценка эффективности инвестиций

Первое, что вы должны понять, прежде чем пускаться в дебри статистических расчетов – у инвестиций есть срок. Это Баффет пусть владеет акциями “всегда”, а для большинства инвесторов владение акциями – не цель, а инструмент достижения финансовых целей. И для того, чтобы цель реализовать, придется часть активов продать. Это нормально.

Сроки инвестиций зависят от целей. Они могут быть в пределах от 1 года до 50 лет. И, как вы понимаете, даже одна и та же стратегия может показать совершенно различные результаты на разных сроках. Только определив конкретный срок инвестиций в годах, можно приступать к оценке эффективности финансовых стратегий.

Для оценки необходима выборка результатов. Зная срок ваших инвестиций вы должны подобрать как можно больше результатов оцениваемой стратегии на таком же сроке. Например, если вы инвестируете на год, вы должны проверить работу стратегии в 2012-м, 2011-м, 2010-м и так далее годах. Если срок равен 5 годам, проверяйте промежутки 2008-2012, 2007-2011, 2006-2010 и т.д. Идея понятна?

Сколько таких результатов брать? Есть специальные статистические критерии, но заморачиваться с ними не стоит. Считайте максимум, что сможете найти. Получилось 100 результатов – отлично, 20 – неплохо, 10 – тоже можно.

В результате этих усилий вы получите набор доходностей выбранной стратегии на выбранном сроке. Поскольку эта доходность не одинакова на разных периодах (то есть является случайной величиной), то можно найти среднее и стандартное отклонение. Так вы оцените потенциальный доход от использования данной стратегии и уровень риска, присущий данной стратегии.

Теперь вы можете взять другую стратегию, посмотреть ее результаты на тех же периодах, определить среднюю доходность и уровень риска и сравнить их с предыдущей стратегией. Какая из них показала себя лучше?

Подобная оценка стратегий не является панацеей, особенно, если абсолютное количество результатов невелико. Например, вы смогли взять только три-четыре 10-летних периода. Такая выборка все равно недостаточна для доказательства эффективности стратегии. Но этот метод точно убирает высокие случайные результаты, которые оказывают серьезное влияние на “доходность стратегии в долгосрочном периоде”.

Пример оценки инвестиционной стратегии

Возьмем все тот же пример из начала статьи.

Для начала посмотрим на годовые результаты.

  • Индекс: 15% годовых с нулевым риском.
  • Стратегия Х: 19% годовых с резко возросшим риском (стандартное отклонение = 28 п.п.).

Если вы собираетесь инвестировать на один год, то должны сами решить, готовы ли вы взять на себя повышенный риск ради большей потенциальной доходности стратегии Х.

Если ваш срок 5 лет, то мы можем оценить эти две стратегии по 5-летним промежуткам. По нашим данным за 10 лет мы можем сформировать выборку из шести 5-летних результатов этих двух стратегий.

  • Индекс: 15% годовых с нулевым риском.
  • Стратегия Х: 15% годовых с риском 68 п.п.

На 5-летних периодах случайность “великолепного результата” стратегии Х за 10 лет предстает во всей красе. Грамотный инвестор выберет индекс.

Не слушайте ничьих советов. Имейте свою голову на плечах!

Nick Cherry

Версия для печати Версия для печати

Узнайте больше: бесплатный курс "Как стать инвестором?"

Ник Черри

В мире личных финансов любят воспитывать наивных инвесторов. Мол, инвестиции – это легко и просто. Выполняйте пару нехитрых правил, и вы разбогатеете быстро и без усилий.

В условиях кризисов и неопределенности от таких советов больше вреда, чем пользы.

Курс “Как стать инвестором” избавит вас от множества иллюзий по поводу инвестиций и научит основам эффективного управления деньгами в любых условиях.

Получить курс

Введите свои данные в форму:

Главный редактор проекта "Путь к богатству"
  • ValuaVtoroy

    Замечательный пост. Перечитал три раза. Со многим согласен. Насчёт репрезентативности. Как объективный критерий, она очень важна. Иначе утверждение относительно эффективности того или иного метода будет голословным. Вот с точки зрения репрезентативности-результаты известных стоимостных инвесторов, побивающих индексы, а таких немало, будут репрезентативны? Я думаю, что да.
    Конечно, у каждого из них был свой подход, своя стратегия. Кто-то, как Баффет, применял метод дисконтирования свободных денежных потоков. Кто-то, как Грэм, предпочитал приобретать компании по цене раза в два ниже их ликвидационной стоимости, и.т.д. Но в основе всех этих подходов лежит метод оценки внутренней стоимости бизнеса, и понимание того факта, что цена и стоимость-это два разных понятия. Стоимостной инвестор делает ставку на дисконт, возникающий на рынке в следствии его-рынка неэффективности, и на возможную в будущем ликвидацию этого дисконта. И то, что побочным эффектом подобной стратегии является риск среднего отклонения-не пугает его.
    Вы справедливо указываете на то, что один головокружительный по доходности год, может улучшить результаты инвестирования за десятилетний срок. И если бы инвестор вложился бы только на девять лет,то он бы получил весьма посредственные результаты, проиграв индексу. Это так. Вот почему инвестиции желательно делать на более продолжительный срок. По крайней мере, не на год, и не на пять лет. По крайней мере, на десять-двадцать лет, чтобы зацепить хотя бы один такой головокружительный по доходности год.
    Огромное спасибо Вам за внимание к нашему форуму.
    С уважением.
    ValuaVtoroy.

    • ValuaVtoroy

      Вчера вечером разместил ваш пост на нашем форуме.
      Будете у нас на Колыме-милости просим.:)

    • http://www.myrichway.ru/ Nick Cherry

      1. Если результаты инвесторов брать тем же методом, что указан в статье, то да. Если просто сказать, что Баффет за 50 лет обогнал индекс в 4 раза, то – нет.

      2. Размер репрезентативной выборки зависит от размера генеральной совокупности. Грубая аналогия: для определения среднего роста учеников школьного класса достаточно измерить 5-7 человек из него. Для определения среднего роста населения России потребуется выборка больше 1000 человек.
      Постараюсь как-нибудь вспомнить матстат и посчитать размер выборки для стратегий.

      3. Ваш вывод о долгосрочности инвестиций с “зацеплением” доходного периода точно так же нужно проверить. Сравнить среднюю доходность и риск пятилетних инвестиций с 10-летними и 20-летними. И сделать приблизительный вывод, являются ли долгосрочные инвестиции более выгодными.
      Подобный вывод был как-то растиражирован: “на фондовом рынке не бывает 10-летних периодов, принесших в итоге убытки”. К сожалению, проверка показала, что это далеко не так.

      • ValuaVtoroy

        “Сравнить среднюю доходность и риск пятилетних инвестиций с 10-летними и 20-летними. И сделать приблизительный вывод, являются ли долгосрочные инвестиции более выгодными.”

        Можно, конечно, сделать сравнительный анализ, используя репрезентативную выборку по пятилетним, десятилетним, и прочим периодам. Однако ж, приди Вы к выводу, основанному на исторических данных, что несколько пятилетних периодов инвестирования побили по доходности несколько предыдущих десятилетних периодов, и приняв на основе проведённого сравнительного анализа решение инвестировать в течении ближайших пяти лет, и не дольше, Вы запросто можете сесть в лужу, так как именно эта пятилетка вполне может оказаться архи убыточной.
        Моё предположение о предпочтительности более длительных периодов зиждется на том простом факте, что в краткосрочном периоде серьёзное влияние на доходность портфеля инвестора будут иметь краткосрочные колебания рынка, и что в долгосрочной перспективе, все эти колебания будут мало заметны на кривой индекса, устремлённого вверх. Не утверждаю, правда, что кривая непременно будет направленна вверх в течении десятилетнего периода. Но тем не менее, на длинном инвестиционном горизонте рынок скорее будет растущим, нежели падающим. Как ни как, за акциями, торгующимися на рынке стоит реальный бизнес, который даёт реальную прибыль, и вместе с ростом компаний-растёт и рынок. Лично мне вот так кажется.

      • http://www.myrichway.ru/ Nick Cherry

        “Можно, конечно, сделать сравнительный анализ, используя репрезентативную
        выборку по пятилетним, десятилетним, и прочим периодам… и сесть в лужу, так как именно эта
        пятилетка вполне может оказаться архи убыточной.”

        Этот аргумент, конечно, не настолько убедителен, как “Лично мне вот так кажется”. :)

        1. Длительный период – это сколько? На каких именно сроках кривая индекса устремлена вверх? Были и 10-ти, и 20-ти летние убыточные периоды. Вопрос лишь в вероятности, а ее вы не хотите считать, обходясь убеждениями.

        2. Инструменты бывают разные. Понимаю, что сейчас мы обсуждаем только фондовый рынок. Но ведь инвестиции только им не ограничиваются. По другим инструментам у вас есть такая уверенность?

        3. Сроки инвестиций зависят от целей. Если у вас в списке только цели со сроком реализации 20-30 лет, могу только посочувствовать. Смысл инвестиций не в том, чтобы заработать кучу денег за бесконечное время, а в том чтобы получить определенную конечную сумму к заданному сроку. Франклиновские 5000 долларов, конечно, превратились в миллионы через 200 лет, но повторять его опыт меня как-то не тянет. А значит в моем портфеле должны быть инвестиции сроком в 1 год, 3 года, 5 лет и т.д. И вместо того, чтобы вычислять оптимальный срок вложения в фондовый рынок, я предпочитаю вычислить оптимальные пропорции и инструменты для поставленных сроков.

  • http://www.myrichway.ru/ Nick Cherry

    Формально вы вроде бы соглашаетесь с вероятностным подходом, но тут же его и отвергаете.

    “Так что, считайте вы, вооружившись математическим аппаратом, и отбросив убеждения, или не считайте – это не сможет уберечь вас от риска потерять деньги, или получить нулевую доходность.”
    Надеюсь вы не считаете, что вероятность получения убытков при этих двух подходах одинаковая?! Иначе, это похоже на анекдот про блондинку и динозавра.

    Комментарии с внешними ссылками проходят премодерацию.

    • ValuaVtoroy

      “Иначе, это похоже на анекдот про блондинку и динозавра.”

      Хороший анекдот.:) Либо-встречу, либо-нет.

      “Надеюсь вы не считаете, что вероятность получения убытков при этих двух подходах одинаковая?”

      Не считаю. Анализ лучше его отсутствия. Человеку, вооруженному результатами анализа, легче ориентироваться в изменяющихся условиях. Единственное, на что хотелось бы обратить ваше внимание, так это на то, что на рынках постоянно присутствует элемент неопределённости, и анализ не всегда спасает от рисков. В условиях неопределённости мы не можем быть на сто процентов уверенны, что именно следующие пять, или десять лет будут прибыльными. На фондовом рынке гарантий нам с Вами ни кто не даёт, иначе бы акции были инструментом денежного рынка с гарантированной низкой доходностью.