Урок 2: Метрики и честная валидация

Чему вы научитесь

• Читать ключевые метрики стратегии: Sharpe, просадка, сравнение с бенчмарком
• Понимать lookahead-bias и переобучение как главные источники самообмана
• Применять Monte-Carlo и walk-forward для проверки устойчивости результата
• Отличать честный бэктест от подгонки под историю
• Ставить агенту правильные вопросы о валидации

Доходность — не главная метрика

Новичок смотрит на итоговую доходность. Профессионал смотрит на риск и устойчивость. Одна и та же доходность может быть получена ровным ростом или дикими качелями — это совсем разные стратегии.

Два главных способа обмануть себя

Lookahead-bias — это когда стратегия использует информацию, которой в момент сделки ещё не было. Классика: применить сегодняшнее закрытие как сигнал на сегодняшний вход. На истории это даёт фантастические результаты, в реальности — нет.

Переобучение (overfitting) — это подгонка параметров под конкретный исторический отрезок. Если перебрать тысячу комбинаций и выбрать лучшую, она почти наверняка не повторится в будущем.

flowchart TD
    R[Красивый бэктест] --> Q1{Использует будущие данные?}
    Q1 -->|Да| B1[Lookahead-bias, выбросить]
    Q1 -->|Нет| Q2{Параметры подобраны перебором?}
    Q2 -->|Да| B2[Риск переобучения, проверить вне выборки]
    Q2 -->|Нет| Q3{Держится на новых данных?}
    Q3 -->|Да| OK[Результат заслуживает доверия]
    Q3 -->|Нет| B3[Подгонка, не торговать]

Monte-Carlo и walk-forward

Два метода помогают проверить устойчивость, а не разовую удачу.

• Monte-Carlo: многократно перемешивает или ресемплирует сделки и смотрит распределение исходов. Если ваш результат — лишь хвост удачного сценария, это видно.
• Walk-forward: оптимизация на одном окне, проверка на следующем, и так со сдвигом. Имитирует реальную работу, где будущее всегда неизвестно.

Просите агента не «дай доходность», а «прогони walk-forward и покажи разброс метрик». Хороший ответ — это распределение, а не одна цифра.

Следующий урок

Урок 3: Факторы и альфы — что такое альфа-зоопарк и как понимать факторный подход.