Несколько неожиданный ответ — вероятно, нет. Изучение огромного количества выборок прошлых портфелей — известное как «бэктестинг» — может показаться хорошим способом сосредоточиться на лучшем будущем портфеле. Но если количество портфелей в тесте на истории настолько велико, что не соответствует количеству лет данных в тесте на истории, то портфели, которые выглядят лучше всего, на самом деле являются именно теми, которые нацелены на крайности в наборе данных.
Когда инвестиционная стратегия таким образом «переигрывает» бэктест, стратегия не извлекает выгоду из какой-либо общей финансовой структуры, а просто выделяет капризы в данных.Опасности переобучения при тестировании на исторических данных анализируются в статье «Псевдоматематика и финансовый шарлатанство: влияние переобучения при тестировании на данные вне выборки», которая будет опубликована в выпуске «Уведомления Американского математического общества» за май 2014 года. Авторы — Дэвид Х. Бейли, Джонатан М. Борвейн, Маркос Лопес де Прадо и Циджи Джим Чжу.
«Последние достижения в области вычислительной техники позволяют инвестиционным менеджерам методично перебирать тысячи или даже миллионы потенциальных вариантов прибыльной инвестиционной стратегии», — пишут авторы. «Во многих случаях этот поиск включает псевдоматематический аргумент, который ложно подтверждается бэктестом».К сожалению, переоснащение бэктестов — обычное дело не только в предложениях финансовых консультантов, но и в исследовательских работах по математическим финансам. Один из способов уменьшить проблемы переобучения при тестировании на исторических данных — проверить, насколько хорошо инвестиционная стратегия работает с данными за пределами исходного набора данных, на котором основана стратегия; это называется тестированием вне выборки. Однако немногие инвестиционные компании и исследователи проводят тестирование вне выборки.
Разработка инвестиционной стратегии обычно начинается с определения модели, которая, как полагают, поможет предсказать будущее значение финансовой переменной. Следующим шагом будет построение математической модели того, как эта переменная может изменяться с течением времени. Количество способов настройки модели огромно, и цель состоит в том, чтобы определить конфигурацию модели, которая максимизирует эффективность инвестиционной стратегии. Для этого практикующие специалисты часто тестируют модель на исторических данных, используя исторические данные по рассматриваемой финансовой переменной.
Они также полагаются на такие показатели, как «коэффициент Шарпа», который оценивает эффективность стратегии на основе выборки прошлых доходов.Но если выполняется большое количество бэктестов, можно в конечном итоге сосредоточиться на конфигурации модели, которая имеет обманчиво хороший коэффициент Шарпа. В качестве примера авторы отмечают, что для модели, основанной на данных за 5 лет, можно ввести в заблуждение, взглянув даже на 45 образцов конфигураций. В этом наборе из 45 конфигураций по крайней мере одна из них гарантированно выделяется хорошим коэффициентом Шарпа для 5-летнего набора данных, но будет иметь мрачный коэффициент Шарпа для данных вне выборки.
Авторы отмечают, что, когда бэктест не сообщает о количестве конфигураций, которые были вычислены для идентификации выбранной конфигурации, невозможно оценить риск переобучения бэктеста. И все же количество конфигураций моделей, используемых при тестировании на истории, очень часто не раскрывается — ни в научных статьях по финансам, ни в компаниях, продающих финансовые продукты. «[Мы] подозреваем, что большая часть бэктестов, опубликованных в академических журналах, может вводить в заблуждение», — пишут авторы. «Ситуация среди практиков вряд ли улучшится.
По нашему опыту, переобучение в финансовой индустрии является патологическим явлением». Позже в статье они заявляют: «Мы сильно подозреваем, что такое переобучение на исторических данных является значительной частью причины, по которой так много алгоритмических или систематических хедж-фондов не оправдывают завышенных ожиданий, порождаемых их менеджерами».
Вероятно, многие управляющие фондами невольно прибегают к переобучению на исторических данных, не понимая, что они делают, а их недостаток знаний заставляет их переоценивать перспективы своих предложений. Не так ясно, является ли это мошенничеством.
Ясно одно: ученые-математики могут многое сделать, чтобы выявить эти проблемные практики — и именно поэтому авторы написали свою статью. «[M] атематики в двадцать первом веке хранили разочаровывающее молчание в отношении тех членов инвестиционного сообщества, которые, сознательно или нет, злоупотребляют математическими методами, такими как теория вероятностей, статистика и стохастическое исчисление», — пишут они. «Наше молчание — это согласие, которое делает нас соучастниками этих злоупотреблений».