Как оценить эффективность стратегии?

Экстраполяция тенденций 1880-х годов
показала бы, что к нашему времени
города будут погребены
под грудами лошадиного навоза.
Норман Макрей, англ. писатель

Если цифры непонятны — это математика.
Если они бессмысленны — это экономика.
«Краткий определитель наук»

И в долгосрочной и краткосрочной перспективе необходимо управлять своими финансами. С этим легко справится Family.

Итак, «4 дурня» провалились. Но еще в самом начале эксперимента раздавались голоса: «результаты за 1 год, 2 года… — еще не доказательство!» А ведь тогда «4 дурня» значительно обгоняли индекс. Самое интересное, что эти критики были тогда абсолютно правы.

На форуме «Вокруг да около» (очень рекомендую) развернулась очень интересная дискуссия между Сергеем Спириным и другими пользователями на тему того, как узнать, работает ли какая-то стратегия или нет. Процитирую Сергея Спирина:

«Для каждого явления (например, «четыре дурня на каком-то отдельно взятом периоде обгоняли индекс») может существовать несколько объяснений-гипотез. Например, одна гипотеза — «это потому, что четыре дурня — гениальная стратегия, и так будет всегда». Вторая, альтернативная гипотеза — «это была случайность, и дальше такого не будет».

Для того, чтобы была возможность установить, какая из гипотез верна, эксперимент должен проводиться на достаточном количестве данных, на статистически значимой выборке. Есть математические методы, позволяющие установить, какой должна быть эта выборка, чтобы подтвердить интересующую вас гипотезу.»

Именно этим вызывается нежелание признавать мой эксперимент, как доказательство эффективности стратегии «4 дурня». И Спирин совершенно прав. Многочисленные «подтверждения гениальности» трейдеров и управляющих ПАММ-счетов, основанные на результатах максимум за пару лет, можно с легким сердцем выкинуть на свалку. В самом деле, проверка эффективности стратегии должна определяться на репрезентативной выборке результатов. Это аксиома.

А дальше начинаются чудеса. Вместо репрезентативной выборки нам предлагают ориентироваться на долгосрочные результаты. Например, за 10 лет стратегия Х обогнала рынок. Индекс вырос на 150% за это время, а стратегия показала результат 230%. И, вроде бы, все верно — и долгий срок (10 лет — это вам не один год), и итоговый результат выше. Стратегия работает!

Увы, подобное «доказательство» демонстрирует низкий, если не сказать нулевой, уровень математических познаний наших финансовых консультантов, экономистов и т.п. Результат за 10-20-30 лет не является выборкой. Это один (всего один!) результат. Если 6 результатов дивидендной стратегии не являются доказательством ее эффективности (а они не являются), то один результат (пусть и на 10-летнем промежутке) тем более доказательством не будет.

Принято считать, что для оценки эффективности инвестиционной стратегии нужно взять период побольше. 10 лет мало? Возьмем 20, 30, 50, 100… Выборку подменяют долгосрочным периодом, что приводит к неверным решениям.

Пример оценки стратегии
на долгосрочном периоде

Давайте предположим, что фондовый индекс равномерно рос на протяжении 10 лет. Каждый год +15%. По формуле сложного процента посчитаем, что общая доходность индекса составила 305%. Очень неплохо.

Но одна стратегия за эти же 10 лет увеличила портфель на 372%. Принципы стратегии открыты, проверка показала, что действительно 372%. Финансовые консультанты наперебой принялись рекомендовать ее клиентам, трейдеры бросились торговать по новым алгоритмам. Кому не хочется воспользоваться стратегией, которая на «хорошей выборке» в 10 лет показала такие замечательные результаты.

Но тщательная проверка результатов стратегии по годам показала удивительную картину: почти во все годы стратегия показала результат 10% годовых и только в одном случае (на втором году периода) выстрелила — 100% годовых. Любому ясно, что стратегия, проигравшая индексу в 9 случаях из 10 не может быть эффективной. Но когда вам демонстрируют долгосрочные результат доходности за 10-20-30 лет, подобные явления скрыты от ваших глаз.

Очевидно, что именно этот один случайный результат и определил «долгосрочный успех стратегии». Достаточно взять другой период, куда не входит этот суперуспешный год, и стратегия займет свое положенное место.

Отступление 1. Конечный результат не зависит от того, в каком именно году был «взлет». 100% в первый год работы или в последний — итоговый результат за 10 лет останется неизменным. Можете сами проверить.

Отступление 2. Однажды на блоге я уже разбирал подобный случай с реальной стратегией и на реальных данных. Если гипотетический пример вам непонятен, найдите ту статью, и особенно внимательно перечитайте ее и комментарии к ней.

Из этого примера сразу становится ясно, что замечательные графики роста фондового рынка США, например, на периоде 50-100 лет никак не помогут нам определиться со своей стратегией инвестирования. Долгосрочный период — это не выборка, во-первых. А во-вторых, что толку мне от того, что фондовый рынок за 100 лет вырос на Х процентов? Я столько точно не проживу. Эти факты годятся лишь в качестве развлечения для ума, но их практическая ценность стремится к нулю.

Оценка эффективности инвестиций

Первое, что вы должны понять, прежде чем пускаться в дебри статистических расчетов — у инвестиций есть срок. Это Баффет пусть владеет акциями «всегда», а для большинства инвесторов владение акциями — не цель, а инструмент достижения финансовых целей. И для того, чтобы цель реализовать, придется часть активов продать. Это нормально.

Сроки инвестиций зависят от целей. Они могут быть в пределах от 1 года до 50 лет. И, как вы понимаете, даже одна и та же стратегия может показать совершенно различные результаты на разных сроках. Только определив конкретный срок инвестиций в годах, можно приступать к оценке эффективности финансовых стратегий.

Для оценки необходима выборка результатов. Зная срок ваших инвестиций вы должны подобрать как можно больше результатов оцениваемой стратегии на таком же сроке. Например, если вы инвестируете на год, вы должны проверить работу стратегии в 2012-м, 2011-м, 2010-м и так далее годах. Если срок равен 5 годам, проверяйте промежутки 2008-2012, 2007-2011, 2006-2010 и т.д. Идея понятна?

Сколько таких результатов брать? Есть специальные статистические критерии, но заморачиваться с ними не стоит. Считайте максимум, что сможете найти. Получилось 100 результатов — отлично, 20 — неплохо, 10 — тоже можно.

В результате этих усилий вы получите набор доходностей выбранной стратегии на выбранном сроке. Поскольку эта доходность не одинакова на разных периодах (то есть является случайной величиной), то можно найти среднее и стандартное отклонение. Так вы оцените потенциальный доход от использования данной стратегии и уровень риска, присущий данной стратегии.

Теперь вы можете взять другую стратегию, посмотреть ее результаты на тех же периодах, определить среднюю доходность и уровень риска и сравнить их с предыдущей стратегией. Какая из них показала себя лучше?

Подобная оценка стратегий не является панацеей, особенно, если абсолютное количество результатов невелико. Например, вы смогли взять только три-четыре 10-летних периода. Такая выборка все равно недостаточна для доказательства эффективности стратегии. Но этот метод точно убирает высокие случайные результаты, которые оказывают серьезное влияние на «доходность стратегии в долгосрочном периоде».

Пример оценки инвестиционной стратегии

Возьмем все тот же пример из начала статьи.

Для начала посмотрим на годовые результаты.

• Индекс: 15% годовых с нулевым риском.
• Стратегия Х: 19% годовых с резко возросшим риском (стандартное отклонение = 28 п.п.).

Если вы собираетесь инвестировать на один год, то должны сами решить, готовы ли вы взять на себя повышенный риск ради большей потенциальной доходности стратегии Х.

Если ваш срок 5 лет, то мы можем оценить эти две стратегии по 5-летним промежуткам. По нашим данным за 10 лет мы можем сформировать выборку из шести 5-летних результатов этих двух стратегий.

• Индекс: 15% годовых с нулевым риском.
• Стратегия Х: 15% годовых с риском 68 п.п.

На 5-летних периодах случайность «великолепного результата» стратегии Х за 10 лет предстает во всей красе. Грамотный инвестор выберет индекс.

Не слушайте ничьих советов. Имейте свою голову на плечах!

Nick Cherry

================================

Больше актуальной информации по инвестициям в телеграм-канале "Будни грамотного инвестора"!

================================